整理:TopAIMap 编辑
微软 MAI 完成 MAI-Base-2 预训练:2.8T 总参/80B 激活 MoE,称预训练效率比 DeepSeek-V4-Pro-Base 高 4–12 倍
10 月 15 日,Microsoft AI 在官方 Lab Notes 发布《Frontier Pre-training at Microsoft AI》:自研基座 MAI-Base-2 已完成预训练,为 MoE 架构,总参数 2.8 万亿、每 token 激活 800 亿。官方称它在内部留出评测(代码、问答、数学、STEM,按 bits-per-byte 计)上低于所测全部开放权重模型,按拟合的缩放律估算,预训练 FLOPs 效率是 DeepSeek-V4-Pro-Base 的 4.2–12.3 倍、比 6 月的 MAI-Base-1 提升 6.3–12.7 倍。模型目前仍在后训练,MAI-Base-3 已开始筹备。
训练细节:16k 张 GB200、2026 年 8–9 月共 38 天,平均 MFU 21%、goodput 89%;与 MAI-Base-1 不同,MAI-Base-2 采用免编码器 VLM 架构、原生带视觉预训练。关键改动包括:考虑数据重复的「source scaling」缩放阶梯、学习率/权重衰减/dropout 的经验缩放律、每层都用 MoE(MoE 层 MFU 从 24% 提到 35%)、多轮 dropless MoE 固定显存,以及在 ZeRO 分片下扩展 Muon 优化器。对比对象为 DeepSeek-V4-Pro-Base,以及 Kimi K3、Qwen3.8-2.4T-A95B、MiMo-V2.6-Pro-RL(后三者只有后训练版本,官方注明结论需打折看)。微软强调训练数据为自有「有机数据」、不蒸馏其他模型。
谁能用:目前没人能直接用——这是基座模型的预训练报告,不是产品发布。MAI-Base-2 尚在后训练,没有 App、Copilot、API 或 Foundry 的上线时间,也没有价格或候补名单。官方只说后续会「先用于自家产品,再给 Foundry 客户」,并计划通过 Foundry 向「受信任合作伙伴」授权模型权重,不是公开开源。现在能用的仍是基于 MAI-Base-1 的 MAI-Thinking-1、MAI-Code-1.1-Flash 等(Foundry、GitHub Copilot/VS Code 及 OpenRouter、Fireworks、Baseten 等渠道)。
解读:这篇文章的意义不在跑分,而在信号——微软第一次公开自己有 2.8T 级、原生多模态的前沿基座,并把「不蒸馏、数据来源清楚」当成卖点,降低对 OpenAI 的依赖;但所有对比都是微软自己的留出集和自己拟合的缩放律,FLOPs 效率又是估算值,在后训练版本出来、拿到第三方评测之前,宜把它当路线图而非结论。讨论:1. 「按 Foundry 授权权重给受信任伙伴」会成为开放权重和闭源 API 之间的新中间形态吗?2. 你更信 bits-per-byte 这类预训练指标,还是只等后训练模型在 SWE-Bench、Arena 上见真章?
参考资料


