發生什麼事
微软 AI CEO @mustafasuleyman 表示,MAI 已有 3 万亿参数级、完全自研的预训练基础模型,后训练结果即将公布。据官方技术博客,MAI-Base-2 在 8 月到 9 月间用 1.6 万张 GB200 GPU 训练 38 天,训练数据共 50 万亿 token,知识截止于 2026 年 3 月,原生纳入视觉数据。
微软表示,在自家的保留评测(held-out)上,MAI-Base-2 胜过所有测过的开放权重模型。微软以最强的开放基础模型 DeepSeek-V4-Pro-Base 为参照,估算自家训练方法要达到同样表现,算力只需对方的 4.2 到 12.3 分之一。之所以能授权权重,是因为微软表示预训练只用自然数据,没有从其他模型蒸馏(官方技术博客)。
01参考来源
- @mustafasuleyman:微软 AI CEO 宣布完成 3 万亿参数级基础模型预训练
- Frontier Pre-training at Microsoft AI:微软 AI 官方技术博客,模型规格、训练规模、评测与授权规划