OpenBMB 开源 MiniCPM-V 4.7：35B-A3B 首个 MoE 端侧多模态模型，iPhone 17 Pro Max 实测 13+ token/s

核心背景与行业痛点

端侧多模态一直卡在「能力 vs 内存」：稠密小模型放得进手机但能力有限，MoE 总参数大、单 token 只激活少量专家，可手机内存装不下全部专家权重。把专家放 SSD 按需加载会频繁卡顿，固定专家子集又会损失能力。OpenBMB 这次发布的 MiniCPM-V 4.7 直接瞄准这一矛盾，提供 35B-A3B（系列首个 MoE）与 1B 两款 Apache-2.0 权重。

架构亮点与底层机制

核心是 Lookahead Expert Scheduling（LES）：用跨层路由预测提前加载下一层可能用到的专家，已命中的先算、未命中的并行加载；预测只用于调度，实际计算仍走模型自身路由，无需额外训练。再叠加分层混合精度量化、专家权重连续重排以减少闪存随机读，以及 DSpark 投机采样。视觉侧沿用 LLaVA-UHD v4 的 ViT 内早期压缩，支持 4x/16x 混合视觉 token 压缩。

权威 Benchmark 与实测跑分对比

以下均为厂商口径。iPad Pro M4（16GB）解码：SSD 加载基线 2.97 token/s，LES 9.81，加量化 14.92，加 DSpark 17.39（5.86 倍）；iPhone 17 Pro Max 为 13+ token/s。Instruct 4x 模式下 MMBench 91.72、OCRBench 91.20、OmniDocBench 94.24、MMMU 80.22，均高于 Qwen3.6-35B-A3B（86.76 / 86.00 / 80.17 / 77.44），但 SimpleVQA、ScreenSpot、MM-IFEval 等项并未领先，需自测。

开发者实战落地与开箱指南

服务端可用 transformers serve openbmb/MiniCPM-V-4.7-35B-A3B 起 OpenAI 兼容接口，或用 vLLM / SGLang；本地直接 Ollama 或 GGUF + llama.cpp。注意 downsample_mode 要同时传给 apply_chat_template 与 generate。移动端参考 MiniCPM-V-Apps，显存紧张选 Hugging Face 上的 AWQ / GPTQ / int4 版本。