如果有關注 AI 新聞,最近應該會聽到 Jev 模型。 那麼你可能已經知道了,這也是一款大型語言模型,號稱是系統一模型,意思它能夠快速做決策,不會吐出一堆思考流程。 主要的使用方式分成三個: 1. 從選項裡選一個 2. 按標準評分 3. 判斷一件事情為真的機率 比如說,你有一個系統收到一筆數值天氣預報作業的異常訊息: 凌晨 3:15,WRF 預報作業執行失敗。程式的結束代碼(Exit Code)是 137,而當時系統記憶體使用率已經達到 98%。 這些資訊就是提供給 Jev 的「狀態(State)」。 接著,我們可以要求 Jev 判斷這次作業失敗最可能屬於哪一種類型,例如: - 記憶體問題 - 磁碟問題 - 網路問題 - 應用程式本身的問題 - 無法判斷 Jev 不需要像一般大型語言模型一樣寫出一段分析報告,而是直接回傳結構化的判斷結果,例如: 記憶體問題:94% 程式便可以根據這個結果繼續執行下一步。 例如,當「記憶體問題」的機率超過 90% 時,自動進入記憶體異常處理流程;如果模型信心不足,再交給大型語言模型或人工進一步分析。 因此,可以把 Jev 想成一個能看懂自然語言與系統狀態的「智慧版 if 判斷式」。 那我們要怎麼把 Jev 跟一般的大型語言模型搭配,放在同一個工作流內呢? 我們可以把 Jev 放在工作流最前端,先判斷此工作是否需要呼叫 LLM 。以剛剛的氣象預報失敗為例子,假設作業失敗,問題可能有許多種,有些問題一般的程式就能解決,有些可能需要 LLM 介入。 因此 Jev 就能自動導向問題,加上 Jev 速度快,又只會判斷不吐文字,token 耗量極省,所以就能夠讓 Jev 搭配昂貴的高端模型,節省預算。