快讯 · 台北时间

Sakana AI 发布日语金融基准 JFinBench,开放权重模型差距明显

一句重點:这套新基准让开放权重模型与专有模型之间的差距更加清晰。

發生什麼事

@SakanaAILabs 表示,JFinBench 取材自日本六项金融资格考试的 2026 年版,共 321 题,涵盖公认会计师、税务师和 FP 技能检定 1 级等考试。题型除选择题外,也包括税额计算、论述和读图题。官方称,题目由 coding agent 根据考试 PDF 转换而来,之后逐题人工核验,约耗时 12 小时(🗣 自述)。

官方使用这套题目测试了 12 个最新 LLM。官方认为,模型失分主要源于对日本制度的知识不足,而非计算能力(🗣 自述)。开放权重模型在主流基准上逐渐追近专有模型,但在 JFinBench 上仍有明显差距。

01参考来源

  • @SakanaAILabs:Sakana AI 官方账号,2026-11-16 08:53 UTC 发文