快訊 ·

微軟 AI 完成 2.8 兆參數基礎模型 MAI-Base-2 預訓練,稱勝過所有測過的開放權重模型

一句重點:MAI-Base-2 總參數 2.8 兆、每次啟用 800 億,完全由微軟 AI 自行訓練,目前還在後訓練階段,成果之後公布。

發生什麼事

微軟 AI 執行長 @mustafasuleyman 表示,MAI 現在擁有 3 兆參數級、完全自研的頂尖預訓練基礎模型,後訓練結果即將公布。官方技術部落格說,MAI-Base-2 是 MoE 模型,8 月到 9 月間用 1.6 萬張 GB200 GPU 訓練 38 天,訓練資料混合共 50 兆 token,知識截止於 2026 年 3 月,並且原生用視覺資料預訓練。

微軟稱,在微軟的保留評測(held-out)上,MAI-Base-2 勝過所有測試過的開放權重模型;預訓練的運算效率是目前最強開放基礎模型 DeepSeek-V4-Pro-Base 的 4.2 到 12.3 倍。微軟強調訓練資料是自然資料、沒有從其他模型蒸餾,所以能透過 Foundry 把模型權重授權給受信任的合作夥伴。

01參考來源