Sep 23 • 一般討論
能夠快速做決策的 Jev 模型是什麼？
如果有關注 AI 新聞，最近應該會聽到 Jev 模型。
那麼你可能已經知道了，這也是一款大型語言模型，號稱是系統一模型，意思它能夠快速做決策，不會吐出一堆思考流程。
主要的使用方式分成三個：
- 從選項裡選一個
- 按標準評分
- 判斷一件事情為真的機率
比如說，你有一個系統收到一筆數值天氣預報作業的異常訊息：
凌晨 3:15，WRF 預報作業執行失敗。程式的結束代碼（Exit Code）是 137，而當時系統記憶體使用率已經達到 98%。
這些資訊就是提供給 Jev 的「狀態（State）」。
接著，我們可以要求 Jev 判斷這次作業失敗最可能屬於哪一種類型，例如：
- 記憶體問題
- 磁碟問題
- 網路問題
- 應用程式本身的問題
- 無法判斷
Jev 不需要像一般大型語言模型一樣寫出一段分析報告，而是直接回傳結構化的判斷結果，例如：
記憶體問題：94%
程式便可以根據這個結果繼續執行下一步。
例如，當「記憶體問題」的機率超過 90% 時，自動進入記憶體異常處理流程；如果模型信心不足，再交給大型語言模型或人工進一步分析。
因此，可以把 Jev 想成一個能看懂自然語言與系統狀態的「智慧版 if 判斷式」。
那我們要怎麼把 Jev 跟一般的大型語言模型搭配，放在同一個工作流內呢？
我們可以把 Jev 放在工作流最前端，先判斷此工作是否需要呼叫 LLM 。以剛剛的氣象預報失敗為例子，假設作業失敗，問題可能有許多種，有些問題一般的程式就能解決，有些可能需要 LLM 介入。
因此 Jev 就能自動導向問題，加上 Jev 速度快，又只會判斷不吐文字，token 耗量極省，所以就能夠讓 Jev 搭配昂貴的高端模型，節省預算。
1
2 comments
能夠快速做決策的 Jev 模型是什麼？
Suggested communities
Powered by