速報 · 台北時間

NVIDIA、Nemotron 3.5 Super VL と Bolt をオープンモデルとして公開 長時間動く AI エージェント向け

一句重點:Super VL は 1,200 億パラメータのマルチモーダルなオープンモデルで、PDF やウェブページ、画像を読み取れます。Bolt シリーズは、PC やエッジデバイスでエージェントをローカル実行するためのモデルです。

發生什麼事

今回 NVIDIA が出したのは 3 モデルで、Super VL に、エッジ向けの Bolt 74B-A9B 24GB と Bolt E4B 4GB が加わります(NVIDIA ブログ)。Super VL が一度に使うパラメータは 120 億で、推論やツール利用と、テキスト・画像・文書・動画の理解を兼ね備えています(@NVIDIAAI)。NVIDIA によると、Super VL は自社最大の推論モデルの約 5 分の 1 の規模ながら、マルチモーダルなエージェントタスクでの精度は同程度で、スループットは同クラスで最速、最大で 5 倍速いとのことです。学習レシピ、データセット、ウェイトはすべて公開され、Hugging Face などで入手できます。Bolt 74B-A9B は2 ビットのネイティブ量子化によりメモリ 24GB に収まり、RTX 搭載 PC や DGX Spark でエージェントの作業をローカルに実行でき、Ollama と LM Studio に対応します。10 月 23 日に出る Bolt E4B は、音声アシスタントのような対話型エージェントが狙いです(NVIDIA ブログ)。

01出典