發生什麼事
今回 NVIDIA が出したのは 3 モデルで、Super VL に、エッジ向けの Bolt 74B-A9B 24GB と Bolt E4B 4GB が加わります(NVIDIA ブログ)。Super VL が一度に使うパラメータは 120 億で、推論やツール利用と、テキスト・画像・文書・動画の理解を兼ね備えています(@NVIDIAAI)。NVIDIA によると、Super VL は自社最大の推論モデルの約 5 分の 1 の規模ながら、マルチモーダルなエージェントタスクでの精度は同程度で、スループットは同クラスで最速、最大で 5 倍速いとのことです。学習レシピ、データセット、ウェイトはすべて公開され、Hugging Face などで入手できます。Bolt 74B-A9B は2 ビットのネイティブ量子化によりメモリ 24GB に収まり、RTX 搭載 PC や DGX Spark でエージェントの作業をローカルに実行でき、Ollama と LM Studio に対応します。10 月 23 日に出る Bolt E4B は、音声アシスタントのような対話型エージェントが狙いです(NVIDIA ブログ)。
01出典
- Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models:NVIDIA 公式ブログ。モデルの仕様、性能に関する数値、提供プラットフォーム
- @NVIDIAAI:NVIDIA AI の公式アカウントによる Super VL の発表、パラメータ規模
- Hugging Face のモデルページ:Super VL のオープンウェイト