淘宝 MNN 开源 0.3B 手机模型，iPhone 18 Pro 离线生成速率达 350 token/s

封面为AI生成的主题示意图，非新闻现场照片。

IT 之家 11 月 6 日消息，淘宝旗下 MNN 团队正式发布了面向手机应用的轻量级大模型 MNN-Pocket-0.3B。该模型旨在有限算力、内存和能耗约束下，平衡任务能力、响应速度与持续运行体验。

针对综合型手机应用的需求，MNN 团队设定了四项核心设计目标：在指定设备与上下文配置下解码吞吐超过 200 token/s；峰值内存低于 300MB 以兼容 8～16GB 内存的手机环境；单次推理增量能耗控制在电池总容量的万分之一以内（百次推理不超 1%）；具备 8B 级模型效果的理解、推理及代码能力。

实测数据显示，MNN-Pocket-0.3B 在苹果 iPhone 18 Pro 上通过 MNN 推理引擎完全离线运行，平均解码速度约为 350 token/s。其 INT4 量化部署文件体积仅为 173MB，相比同参数预算的 Qwen3-0.6B 模型，部署体积减少了约 49%，峰值内存增量也降低了约 47%。

在性能对比测试中，MNN-Pocket-0.3B 在 iPad Pro M5（Metal 后端）下的 Prefill 吞吐达到 8,721 token/s，Decode 吞吐为 466 token/s，后者约为同条件下 Qwen3-0.6B（286 token/s）的 1.63 倍。此外，该模型在 Snapdragon 8 Gen 5 CPU 后端上的解码吞吐也能达到 251 token/s。

模型架构经过多轮迭代优化，最终选定 28 层结构并结合分组查询注意力（GQA）配置，在能力、内存与效率间取得平衡。词表从约 151K 精简至 64K，词条数量缩减 57%，有效降低了存储需求与生成开销。

在能力评测方面，MNN-Pocket-0.3B 在英文 IFEval 得分为 73.20，中文指令遵循 IFEval-zh 得分为 74.59，均在所比较模型中取得最高分。覆盖 11 项评测的平均得分为 50.00，优于 MiniCPM4-0.5B 及 Qwen3-0.6B 等对比模型。

目前 MNN-Pocket-0.3B 已开源多个版本供研究与应用集成，包括用于继续预训练的 Base 版、用于后训练研究的 SFT 版以及配合 MNN 引擎优化的端侧部署版。所有资源均已托管于 GitHub 仓库：https://github.com/alibaba/mnn。