X 热议：独立开发者把 NPU“编译”进 Qwen3.5-4B 权重，让 Karpathy 的 stories260K 在模型里跑模型

核心背景与行业痛点

独立开发者 div（X 账号 @divagr1925）这两周在 X 上连续抛出两个实验，挑战的正是“工具必须在模型外面”这个默认前提。10 月 28 日的 Qwenputer 把一颗完整的 32 位 RISC-V CPU 编译进 Qwen3.5-4B 的权重；10 月 31 日的 QwenPU 更进一步，在里面再加一个向量单元，让另一个语言模型在模型内部运行。原帖约 1,540 赞、8.5 万次浏览，并被 X 整理成热门话题。需要说明：这是个人实验，不是阿里 Qwen 团队的官方发布。

架构亮点与底层机制

据项目 README，QwenPU 在 Qwen 原有 32 层前面加了 13 层“计算机层”，实现 RV32IM 指令集、Zba 扩展、大数单元和新的向量单元，隐藏维度从 2560 扩到 5120，但 Qwen 自己的权重保持不变。所有新增权重都由编译器直接算出，没有经过训练。stories260K 的 int4 权重作为数据加载进单元的权重内存，而不是写死在检查点里。

权威 Benchmark 与实测跑分对比

以下数字均为作者口径，第三方尚未公开复现。每生成一个故事 token 所需的 trace token：纯 C 实现 243 万，Qwenputer 的 NPU 指令 22.5 万，QwenPU 向量单元 5.3 万。GPU 执行器在 L4 上约每秒 3,300 个 trace token，所以一个故事 token 约 16 秒。前作 Qwenputer 在 DeepMind 数学题上，作者给出的成绩是基础模型 55–90%、基础模型加 Python 工具 95–100%、Qwenputer 97.5–100%。

开发者实战落地与开箱指南

代码在 GitHub divagr18/QwenPU（MIT），权重在 Hugging Face divagr1925/QwenPU（Apache-2.0）。按 README 安装后，只跑计算机层的故事演示和检查可以放进 24 GB 显卡，完整加载 26.7 GB 检查点则需要 40 GB 以上。X 上的讨论分成两派：一派认为它说明模型权重可以做精确计算、“工具是否外置”值得重新思考；另一派指出速度极慢、检查点大多是零填充，实用价值有限。作者表示完整技术文章还在写，后续会做体积压缩。