快訊 · 台北時間

Sakana AI 推出日語金融基準 JFinBench,開放權重模型差距明顯

一句重點:這份新基準讓開放權重模型與專有模型之間的落差更容易看見。

發生什麼事

@SakanaAILabs 表示,JFinBench 取自日本六項金融資格考試的 2026 年版,包括公認會計士、稅理士與 FP 技能檢定 1 級,共 321 題,除了選擇題,還有稅額計算、論述與讀圖題。建置時由 coding agent 負責轉換考試 PDF,人工逐題驗證約花 12 小時(🗣 自述)。

用這套題目測了 12 個最新 LLM,官方認為失分主因是日本制度知識不足,而不是計算(🗣 自述)。開放權重模型在主流基準上正逐漸追上專有模型,在這份題目上,差距仍然很大。

01參考來源

  • @SakanaAILabs:Sakana AI 官方帳號,2026-11-16 08:53 UTC 發文