NVIDIA 研究院在 Hugging Face 发布 Nemotron-Labs-Sigma 系列,共 14 个 3B/8B 权重,包括基础版、指令版、少步蒸馏版和自推测解码版。它不逐个 token 生成,而是在 16 维连续嵌入空间里从噪声去噪,整块并行输出文本。NVIDIA 首席科学家 Morteza Mardani 11 月 16 日在 X 上公布发布,模型采用 NVIDIA Nemotron 开放模型许可,可商用。
核心要点速览
- ✓规模:14 个权重,3B 和 8B 两档,含 Base、Instruct、distill-nfe2/4/8/16 和 distill-spec 版本,均在 Hugging Face 的 nvidia 账号下
- ✓原理:在 16 维连续 token 嵌入空间做扩散去噪,按块(默认 32–64 token)并行生成,已提交的 token 照常用 KV cache 复用
- ✓加速:NVIDIA 研究总监 Arash Vahdat 在 X 上称蒸馏版只需 4 步采样效果仍强,自推测解码提速 3.5 倍
- ✓distill-spec 版本由扩散头一次起草 32 个 token,再由自带的自回归头验证,输出与贪心自回归结果一致
- ✓限制:上下文最长 8192 token(spec 版 4096),仅支持英文,需 NVIDIA GPU 跑 bfloat16,不支持 CPU 推理

关键决策指标一览
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
主流大语言模型都是自回归的,一次只能生成一个 token,输出越长越慢。扩散模型在图像领域已经证明可以少步并行生成,但文本是离散的,之前的扩散语言模型大多用「掩码」式的离散扩散。NVIDIA 这次发布的 Nemotron-Labs-Sigma 走另一条路:把扩散做在连续空间里,和图像扩散的做法一致。
架构亮点与底层机制
模型卡显示,它在 16 维连续 token 嵌入空间里从高斯噪声逐步去噪,去噪网络和嵌入一起训练。文本按块并行解码,每块经过若干步 DDPM 或 DDIM 采样,已确定的 token 走 KV cache。distill-spec 版本另带一个自回归头:扩散头一次起草 32 个 token,自回归头验证,输出与贪心自回归解码一致。
权威 Benchmark 与实测跑分对比
模型卡称 8B 版本的推理准确率可以和当前最强的掩码扩散语言模型竞争,详细对比见论文 arXiv:2610.02665。NVIDIA 研究总监 Arash Vahdat 在 X 上表示,蒸馏版只用 4 步采样仍有不错效果,自推测解码提速 3.5 倍。这些是团队自己的数字,暂无第三方复现。
开发者实战落地与开箱指南
权重在 Hugging Face 的 nvidia 账号下,用 transformers 加 trust_remote_code 即可加载,无需自定义内核。要求 NVIDIA GPU 和 bfloat16,CPU 上输出不可用。上下文最长 8192 token,只支持英文。官方推荐 DDIM 采样器,步数越少越快、质量略降。
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察