發生什麼事
@SakanaAILabs 表示,JFinBench 取材自日本六项金融资格考试的 2026 年版,共 321 题,涵盖公认会计师、税务师和 FP 技能检定 1 级等考试。题型除选择题外,也包括税额计算、论述和读图题。官方称,题目由 coding agent 根据考试 PDF 转换而来,之后逐题人工核验,约耗时 12 小时(🗣 自述)。
官方使用这套题目测试了 12 个最新 LLM。官方认为,模型失分主要源于对日本制度的知识不足,而非计算能力(🗣 自述)。开放权重模型在主流基准上逐渐追近专有模型,但在 JFinBench 上仍有明显差距。
01参考来源
- @SakanaAILabs:Sakana AI 官方账号,2026-11-16 08:53 UTC 发文