整理:TopAIMap 编辑
OpenBMB 开源 MiniCPM-V 4.7:35B-A3B 端侧 MoE 多模态,iPhone 17 Pro Max 约 13+ token/s、仅占约 3GB 内存
面壁智能 / OpenBMB 发布 MiniCPM-V 4.7 系列:35B-A3B(首个系列内 MoE)与 1B 轻量版;引入 LES 专家预取,宣称端侧无损流畅推理,权重 Apache-2.0。
10 月 12 日(PT),OpenBMB(面壁智能社区)发布开源多模态系列 MiniCPM-V 4.7。官方长帖给出两款:MiniCPM-V 4.7 35B-A3B(系列首个 MoE,配合新建 Lookahead Expert Scheduling / LES 做专家权重预取)与 MiniCPM-V 4.7 1B 轻量版。官方称 35B-A3B 在 iPad Pro M4(16GB)可达 17+ token/s,在 iPhone 17 Pro Max 约 13+ token/s,内存占用约 3GB;并称 LES 在 iPad 上带来约 5× 加速且输出与未加速路径字节级一致。官帖约 132 万浏览、3650+ 赞;Hugging Face 权重页 openbmb/MiniCPM-V-4.7-35B-A3B 获赞约 700、下载四千余次。
谁能用:权重 Apache-2.0,可在 Hugging Face 集合 openbmb/minicpm-v-47 与 GitHub OpenBMB/MiniCPM-V 下载;面向本地/端侧开发者与研究者,支持 iOS、Android、HarmonyOS,并宣称 Day-0 适配 Apple / Intel / AMD / Arm / Rockchip 等。无消费级 Free/Pro 订阅壳,需自备设备与推理栈(官方提到与 Nativ 等合作的 Apple Silicon 路径;社区亦在跟进 llama.cpp / Ollama,部分版本曾报 projector 兼容问题)。视觉侧支持混合 4×/16× token 压缩;官方称 16× 压缩下 35B-A3B 在 OCRBench 仍得 90.4,高于对比的 Qwen3.6 35B-A3B。另提供 Self-Replay Fine-Tuning 做低成本定制。
真实用法:开发者在 RTX 5090 笔记本上用 MiniCPM-V 4.7 检查 Claude Haiku 声称「已完成」的界面截图,抓到皇冠仍浮在车尾等未完成细节;亦有人在本地管线里把它与 Qwen3.6 35B-A3B 并排做视觉验收。Rapid-MLX 等本地视频 demo 则更多叠用 Qwen-Image / LTX,说明端侧多模态栈正在拼装化。
解读:把 35B 级 MoE 多模态塞进手机内存预算,比再刷一条云端榜更有产品含义——GUI agent、现场巡检、离线办公会先受益;但端侧速度数字高度依赖量化与运行时,Ollama/llama.cpp 适配滞后时,「能下载」不等于「开箱能跑」。 讨论:1. 端侧 MoE 多模态会不会成为手机厂商下一代本地助理的默认底座?2. 开源模型拼的是权重,还是 Day-0 推理栈与芯片适配?


