發生什麼事
微軟 AI 執行長 @mustafasuleyman 表示,MAI 現在擁有 3 兆參數級、完全自研的頂尖預訓練基礎模型,後訓練結果即將公布。官方技術部落格說,MAI-Base-2 是 MoE 模型,8 月到 9 月間用 1.6 萬張 GB200 GPU 訓練 38 天,訓練資料混合共 50 兆 token,知識截止於 2026 年 3 月,並且原生用視覺資料預訓練。
微軟稱,在微軟的保留評測(held-out)上,MAI-Base-2 勝過所有測試過的開放權重模型;預訓練的運算效率是目前最強開放基礎模型 DeepSeek-V4-Pro-Base 的 4.2 到 12.3 倍。微軟強調訓練資料是自然資料、沒有從其他模型蒸餾,所以能透過 Foundry 把模型權重授權給受信任的合作夥伴。
01參考來源
- @mustafasuleyman:微軟 AI 執行長宣布完成 3 兆參數級基礎模型預訓練
- Frontier Pre-training at Microsoft AI:微軟 AI 官方技術部落格,模型規格、訓練規模、評測與授權規劃