快讯 · 台北时间

微软 AI 完成 2.8 万亿参数基础模型 MAI-Base-2 预训练,表示胜过所有测过的开放权重模型

一句重點:MAI-Base-2 是 MoE 架构,每次只激活 800 亿参数;微软打算通过 Foundry,把权重授权给受信任的合作伙伴(微软 AI 技术博客)。

發生什麼事

微软 AI CEO @mustafasuleyman 表示,MAI 已有 3 万亿参数级、完全自研的预训练基础模型,后训练结果即将公布。据官方技术博客,MAI-Base-2 在 8 月到 9 月间用 1.6 万张 GB200 GPU 训练 38 天,训练数据共 50 万亿 token,知识截止于 2026 年 3 月,原生纳入视觉数据。

微软表示,在自家的保留评测(held-out)上,MAI-Base-2 胜过所有测过的开放权重模型。微软以最强的开放基础模型 DeepSeek-V4-Pro-Base 为参照,估算自家训练方法要达到同样表现,算力只需对方的 4.2 到 12.3 分之一。之所以能授权权重,是因为微软表示预训练只用自然数据,没有从其他模型蒸馏(官方技术博客)。

01参考来源