跳到正文
模型
模型 Microsoft AI QwenDeepSeekKimi

整理:TopAIMap 编辑

微软 MAI 完成 MAI-Base-2 预训练:2.8T 总参/80B 激活 MoE,称预训练效率比 DeepSeek-V4-Pro-Base 高 4–12 倍

10 月 15 日,Microsoft AI 在官方 Lab Notes 发布《Frontier Pre-training at Microsoft AI》:自研基座 MAI-Base-2 已完成预训练,为 MoE 架构,总参数 2.8 万亿、每 token 激活 800 亿。官方称它在内部留出评测(代码、问答、数学、STEM,按 bits-per-byte 计)上低于所测全部开放权重模型,按拟合的缩放律估算,预训练 FLOPs 效率是 DeepSeek-V4-Pro-Base 的 4.2–12.3 倍、比 6 月的 MAI-Base-1 提升 6.3–12.7 倍。模型目前仍在后训练,MAI-Base-3 已开始筹备。

Microsoft AI《Frontier Pre-training at Microsoft AI》文章头图

训练细节:16k 张 GB200、2026 年 8–9 月共 38 天,平均 MFU 21%、goodput 89%;与 MAI-Base-1 不同,MAI-Base-2 采用免编码器 VLM 架构、原生带视觉预训练。关键改动包括:考虑数据重复的「source scaling」缩放阶梯、学习率/权重衰减/dropout 的经验缩放律、每层都用 MoE(MoE 层 MFU 从 24% 提到 35%)、多轮 dropless MoE 固定显存,以及在 ZeRO 分片下扩展 Muon 优化器。对比对象为 DeepSeek-V4-Pro-Base,以及 Kimi K3、Qwen3.8-2.4T-A95B、MiMo-V2.6-Pro-RL(后三者只有后训练版本,官方注明结论需打折看)。微软强调训练数据为自有「有机数据」、不蒸馏其他模型。

谁能用:目前没人能直接用——这是基座模型的预训练报告,不是产品发布。MAI-Base-2 尚在后训练,没有 App、Copilot、API 或 Foundry 的上线时间,也没有价格或候补名单。官方只说后续会「先用于自家产品,再给 Foundry 客户」,并计划通过 Foundry 向「受信任合作伙伴」授权模型权重,不是公开开源。现在能用的仍是基于 MAI-Base-1 的 MAI-Thinking-1、MAI-Code-1.1-Flash 等(Foundry、GitHub Copilot/VS Code 及 OpenRouter、Fireworks、Baseten 等渠道)。

解读:这篇文章的意义不在跑分,而在信号——微软第一次公开自己有 2.8T 级、原生多模态的前沿基座,并把「不蒸馏、数据来源清楚」当成卖点,降低对 OpenAI 的依赖;但所有对比都是微软自己的留出集和自己拟合的缩放律,FLOPs 效率又是估算值,在后训练版本出来、拿到第三方评测之前,宜把它当路线图而非结论。讨论:1. 「按 Foundry 授权权重给受信任伙伴」会成为开放权重和闭源 API 之间的新中间形态吗?2. 你更信 bits-per-byte 这类预训练指标,还是只等后训练模型在 SWE-Bench、Arena 上见真章?

同栏目 · 模型

OpenCode / X @opencode

OpenCode 限时免费开放 DeepSeek V4.1 Flash:模型 id 为 deepseek-v4.1-flash-free,官宣帖一小时内约 15 万浏览

OpenCode 于 10 月 15 日凌晨宣布 DeepSeek V4.1 Flash 在产品内限时免费;需选用 deepseek-v4.1-flash-free,付费版 deepseek-v4.1-flash 仍按原价计费。供应方称零留存、不用于训练。

OpenCode social share graphic used as cover for DeepSeek V4.1 Flash free announcement
Meta AI Research

Meta 开源 Muse Spark Open:816B 总参/42B 激活、1M 上下文,号称美国最强开放权重模型,两台 M5 Ultra Mac Studio 可本地跑

10 月 15 日,Meta 发布并开放 Muse Spark Open 权重,称其为「迄今最强的美国开放权重模型」。它是原生多模态 MoE,总参数 8160 亿、每 token 激活 420 亿,上下文 100 万 token,主打编程和智能体长程任务。Meta 与苹果合作,用最新 MLX 框架让它跑在两台 M5 Ultra Mac Studio 上;扎克伯格、Alexandr Wang 同步发帖。

Meta 官方头图:Muse Spark Open Weights,迄今最强美国开放权重模型
OpenBMB / X @OpenBMB

OpenBMB 开源 MiniCPM-V 4.7:35B-A3B 端侧 MoE 多模态,iPhone 17 Pro Max 约 13+ token/s、仅占约 3GB 内存

面壁智能 / OpenBMB 发布 MiniCPM-V 4.7 系列:35B-A3B(首个系列内 MoE)与 1B 轻量版;引入 LES 专家预取,宣称端侧无损流畅推理,权重 Apache-2.0。

OpenBMB MiniCPM-V 4.7 announcement graphic showing on-device multimodal MoE