淘宝开源手机端小模型
摘要
淘宝MNN团队11月6日开源约3亿参数端侧模型MNN-Pocket-0.3B，iPhone 18 Pro离线运行，解码约350 token/s，INT4部署文件173 MB；采用28层结构，词表由151K精简至64K，图表显示其综合评分50.00，高于同类小模型。
原文片段
淘宝 MNN 团队开源 0.3B 手机端模型 11 月 6 日，淘宝 MNN 团队开源约 3 亿参数的端侧模型 MNN-Pocket-0.3B，iPhone 18 Pro 上完全离线运行，平均解码约 350 token/s，INT4 部署文件仅 173 MB。 团队目标为峰值内存低于 300 MB、解码超过 200 token/s，最终采用 28 层结构，词表从 151K 精简至 64K；按预训练、后训练、端侧部署分别开源多个版本。 IT之家 🌸 科技圈· 茶馆 · 投稿