發生什麼事
@SakanaAILabs は、日本の金融関連資格試験から2026年版を6種類選び、計321問を収録した「JFinBench」を公開したと説明している。公認会計士、税理士、1級ファイナンシャル・プランニング技能検定などが対象だ。択一式に加え、税額の算出、記述式の回答、図表を読み解く問題も含まれる。問題をデータ化する工程では、コード作成エージェントを使い、各設問の確認は人が担当した。目視での確認には約12時間かかったという(🗣 本人の説明)。
最新世代のLLM 12種類を比べると、重みを公開するモデルは一般的な評価では専有モデルに迫っているものの、JFinBenchでは差が大きかった。誤答の背景は計算力より、日本固有の制度への理解不足が中心だったと同社は述べている(🗣 本人の説明)。
01出典
- @SakanaAILabs:Sakana AI公式アカウント、2026-11-16 08:53 UTC投稿