阿里淘宝 MNN 团队开源 3 亿参数端侧模型 MNN-Pocket-0.3B：INT4 版仅 173MB，iPad Pro M5 解码最高 466 token/s，Apache 2.0

核心背景与行业痛点

把大模型塞进手机 App，难点不只是参数量，还有安装包体积、内存、功耗和首字延迟。很多 0.5B 级开源模型在手机上能跑，但体积动辄数百 MB，速度也达不到「实时对话」的体感。阿里巴巴淘宝 MNN 推理引擎团队 2026 年 11 月 4 日在 GitHub alibaba/MNN 的 News 区和 Hugging Face（taobao-mnn）发布 MNN-Pocket-0.3B，定位就是「手机 App 原生」的小模型，Apache 2.0 许可。11 月 8 日起，第三方 iOS 应用 Local LLM 宣布接入，社区开发者也把它转成了 LiteRT 格式在三星手机 NPU 上演示，讨论还在升温。

架构亮点与底层机制

官方模型卡写明：约 3 亿参数、28 层、隐藏维度 896，采用 GQA（14 个注意力头、2 个 KV 头，head_dim 64），FFN 中间层 2560，词表 65,536，输入输出嵌入共享；位置长度 40,960，部署支持 32K。团队强调模型结构、训练方法和推理引擎是围绕手机 App 的任务和资源预算一起设计的。发布时用 QAT（量化感知训练）直接产出 INT4（W4A16、block 64）的 MNN 构建，只有 173MB。同系列还有 Base、SFT、GGUF（供 llama.cpp）和 Dec 决策模型：后者是 LoRA 适配器加指针头，一次前向就能回答选择类问题。

权威 Benchmark 与实测跑分对比

以下均为官方口径。11 项中英评测平均 50.00，INT4 版 49.59，量化只掉 0.41 分。对比基线：Qwen3-0.6B 44.28、MiniCPM4-0.5B 46.81、ERNIE-4.5-0.3B 31.99、Gemma-3-270M 6.42。分项上 IFEval 73.20、IFEval-zh 74.59、GSM8K 54.36、HumanEval 53.66 较突出，但 C-Eval 38.86、CMMLU 40.11 明显低于 MiniCPM4-0.5B（67.98、66.04），MATH500 35.40 也低于 Qwen3-0.6B 的 45.20。端侧速度（512 token 上下文、INT4）：iPad Pro M5 Metal 预填充 8,721 token/s、解码 466 token/s；骁龙 8 Gen 5 OpenCL 解码 138 token/s、CPU 251 token/s。暂无第三方独立复测。

开发者实战落地与开箱指南

想在服务器或电脑上先试，直接用 Transformers 加载 taobao-mnn/MNN-Pocket-0.3B，聊天模板随仓库提供；llama.cpp 用户可下 GGUF 版。上手机的话，下载官方 MNN-Pocket-0.3B-MNN 端侧包，或用 MNN 仓库里的 llmexport 自行导出，再编译 MNN 的 llm_demo 运行。官方建议用在端侧助手、信息抽取、意图识别和轻量 Agent 流水线；高阶数学和长代码生成不在推荐范围内，选型时建议拿自己的业务样本先测指令遵循和抽取准确率。