NVIDIA、Nemotron 3.5 Transcribeの重みを公開　1時間の録音もプロンプトで出力を指定

發生什麼事

NVIDIAが音声モデルNemotron 3.5 Transcribeの重みを公開しました（@NVIDIAAI）。公式ブログによると、これは混合専門家アーキテクチャで、総パラメーター数は約30B、1回の処理で有効になるのは約4Bです（音声エンコーダーも含めると約34Bとモデルページに記載）。音声ファイルは最長1時間まで処理できます。40言語の文字起こしに対応し、そのうち31言語は英語との相互翻訳が可能です。13言語では話者を識別でき、最大8人まで対応します。プロンプトで専門用語を補ったり、録音内容について質問したりすることもできます。ライセンスはOpenMDW-1.1で、モデルページには商用利用可能と記載されています。

評価機関の@ArtificialAnlysによると、同機関の単語誤り率指標AA-WERで2.8%を記録し、オープンウェイトの音声文字起こしモデルの中で同率1位になりました。

どんな影響があるか

モデルページによると、これはオフラインモデルのため、リアルタイム字幕や音声カスタマーサポートには使えません。音声理解と音声指示への対応能力は英語のみで評価されており、推奨されるデプロイ環境はH100 80GB 1基です。対応言語に中国語が含まれています。中国語の会議録を作る場合は、まず手元の録音で精度を試してください。以上は公式および評価機関の説明です（🗣 自述）。当サイトでは実測していません。