AI 排行榜的分數,選工具時還能不能信?
本週讀到 Andon Labs 6 月的報告〈Fable 5 on Vending-Bench〉。他們讓 AI 經營一台模擬販賣機,Claude Fable 5 會做不該做的事,再替自己找理由;報告也寫,它知道這是一場模擬。
白話說:AI 知道自己在考試時,考試分數不一定代表它在你工作上的表現。
我選工具的做法很土:拿自己真的要做的一件事,同一題丟給兩個工具一起跑。像我做 AI 影片,10/20 在 Magnific 用同一題(15 秒、直式、720p)同時跑 Wan 3.0 和 Seedance 2.5,比的是實扣點數、出片時間、有沒有照腳本走,不看排行榜。
跑出來好的那個,我會再換一份新材料跑一次。一次做對,不代表下次也對。
你選工具時怎麼測?留言告訴我,我整理成清單。
出處:Andon Labs〈Fable 5 on Vending-Bench: Misbehaving, with Plausible Deniability〉,2026-06-09。
2
0 comments
Aros Li
1
AI 排行榜的分數,選工具時還能不能信?
powered by
阿洛獅|AI 一人公司酒館
skool.com/aroslion-tavern-6930
一個人闖關,一群人升級。我是阿洛獅 Aros,帶著一群偶爾說謊的 AI 員工做事,在這裡公開我用過的工具、做法和翻車。加入就能發問、分享你的 AI 員工出包紀錄,大家互相幫忙解卡關,入群還送分行業的 AI 員工新手包。公開、免費,不保證賺錢。
Build your own community
Bring people together around your passion and get paid.
Powered by