發生什麼事
@SakanaAILabs 表示,JFinBench 取自日本六項金融資格考試的 2026 年版,包括公認會計士、稅理士與 FP 技能檢定 1 級,共 321 題,除了選擇題,還有稅額計算、論述與讀圖題。建置時由 coding agent 負責轉換考試 PDF,人工逐題驗證約花 12 小時(🗣 自述)。
用這套題目測了 12 個最新 LLM,官方認為失分主因是日本制度知識不足,而不是計算(🗣 自述)。開放權重模型在主流基準上正逐漸追上專有模型,在這份題目上,差距仍然很大。
01參考來源
- @SakanaAILabs:Sakana AI 官方帳號,2026-11-16 08:53 UTC 發文