NVIDIA 开源 Nemotron 3.5 Transcribe：30B MoE 仅约 4B 激活，一个模型做 40 语种转写、说话人标注和翻译，Open ASR 英文榜开源第一

核心背景与行业痛点

语音转写早就不缺「把每个字记下来」的模型，难的是后续：会议里谁说了什么、怎么译成别的语言、医学术语怎么写对。过去这通常要把 ASR、说话人分离、翻译几个模型串成流水线，各自部署、各自出错。NVIDIA 10 月 28 日开源的 Nemotron 3.5 Transcribe，想用一个可以用自然语言下指令的检查点把这些活一起做掉。

架构亮点与底层机制

• 模型是 NVIDIA 所说的语音增强语言模型（SALM）：语音编码器和说话人编码器并行提取特征，再交给 Mamba-2 与 Transformer 混合的 MoE 语言模型生成文本，基座为 Nemotron 3.5 Lightning 30B-A3B。
• 说话人线索和声学特征一起进入语言模型，生成时就给每一轮话打上说话人标签，而不是事后再对齐。
• 每 token 只激活约 4B 参数（模型卡含编码器为 4.3B / 34B），单张 NVIDIA GPU 即可运行，从 DGX Spark 到 Blackwell 数据中心都支持；上下文 65,536 token，单段最长 1 小时。
• 用指令切换任务，例如「转写并标注每位说话人」「把音频翻译成英文」「这次会议做了哪些决定」，也可以在提示里给出候选术语。

权威 Benchmark 与实测跑分对比

以下为官方和 Artificial Analysis 口径：Hugging Face Open ASR 英文榜开源模型第一，平均 WER 5.33%；多语种 7 种语言平均 4.62%，长音频 10.98%，均为模型卡对比中开源最低。Artificial Analysis 的 AA-WER 为 2.8%，与 Voxtral Small（24B 激活参数，2.77%）并列开源第一，激活参数约为后者六分之一；在其语音智能体对话集 AA-AgentTalk 上为 1.8%，次优开源模型 2.3%。说话人标注方面，官方称在 David AI 21 语种榜和 VoiceArena 14 个系统对比中都排第一。速度与价格方面，Artificial Analysis 在 DeepInfra 托管端点测得 75 倍速度因子、每 1000 分钟 2 美元。

开发者实战落地与开箱指南

1. 从 Hugging Face 模型页 下载 BF16、FP8 或 NVFP4 权重，先在 官方在线演示 上传一段录音试效果。
2. 按模型卡的提示词预设写指令；遇到专有名词先在提示里列候选术语，效果不够再微调。
3. 需要领域适配时，用 Granary v2 数据和 NeMo Speech 工具微调，流程见 NVIDIA 在 Hugging Face 的博客。
4. 注意语言支持因任务而异，音频问答只用英语训练；官方也提醒要人工抽查人名、说话人切换和问答结果。