NVIDIA 研究院在 Hugging Face 发布 Nemotron-Labs-Sigma 系列,共 14 个 3B/8B 权重,包括基础版、指令版、少步蒸馏版和自推测解码版。它不逐个 token 生成,而是在 16 维连续嵌入空间里从噪声去噪,整块并行输出文本。NVIDIA 首席科学家 Morteza Mardani 11 月 16 日在 X 上公布发布,模型采用 NVIDIA Nemotron 开放模型许可,可商用。

核心要点速览

  • ✓规模:14 个权重,3B 和 8B 两档,含 Base、Instruct、distill-nfe2/4/8/16 和 distill-spec 版本,均在 Hugging Face 的 nvidia 账号下
  • ✓原理:在 16 维连续 token 嵌入空间做扩散去噪,按块(默认 32–64 token)并行生成,已提交的 token 照常用 KV cache 复用
  • ✓加速:NVIDIA 研究总监 Arash Vahdat 在 X 上称蒸馏版只需 4 步采样效果仍强,自推测解码提速 3.5 倍
  • ✓distill-spec 版本由扩散头一次起草 32 个 token,再由自带的自回归头验证,输出与贪心自回归结果一致
  • ✓限制:上下文最长 8192 token(spec 版 4096),仅支持英文,需 NVIDIA GPU 跑 bfloat16,不支持 CPU 推理
NVIDIA 开源 Nemotron-Labs-Sigma:连续扩散语言模型,3B/8B 共 14 个权重,整块并行解码,可商用
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

主流大语言模型都是自回归的,一次只能生成一个 token,输出越长越慢。扩散模型在图像领域已经证明可以少步并行生成,但文本是离散的,之前的扩散语言模型大多用「掩码」式的离散扩散。NVIDIA 这次发布的 Nemotron-Labs-Sigma 走另一条路:把扩散做在连续空间里,和图像扩散的做法一致。

架构亮点与底层机制

模型卡显示,它在 16 维连续 token 嵌入空间里从高斯噪声逐步去噪,去噪网络和嵌入一起训练。文本按块并行解码,每块经过若干步 DDPM 或 DDIM 采样,已确定的 token 走 KV cache。distill-spec 版本另带一个自回归头:扩散头一次起草 32 个 token,自回归头验证,输出与贪心自回归解码一致。

权威 Benchmark 与实测跑分对比

模型卡称 8B 版本的推理准确率可以和当前最强的掩码扩散语言模型竞争,详细对比见论文 arXiv:2610.02665。NVIDIA 研究总监 Arash Vahdat 在 X 上表示,蒸馏版只用 4 步采样仍有不错效果,自推测解码提速 3.5 倍。这些是团队自己的数字,暂无第三方复现。

开发者实战落地与开箱指南

权重在 Hugging Face 的 nvidia 账号下,用 transformers 加 trust_remote_code 即可加载,无需自定义内核。要求 NVIDIA GPU 和 bfloat16,CPU 上输出不可用。上下文最长 8192 token,只支持英文。官方推荐 DDIM 采样器,步数越少越快、质量略降。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读LMSYS 在首届 SGLang 峰会成立 SGLang 联盟:NVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal、RadixArk 成为创始成员,共同参与开源推理引擎路线图
立即阅读→