NVIDIA 开源 Nemotron 3.5 Transcribe：30B MoE 仅约 4B 激活，一个模型做 40 语种转写、说话人标注和翻译，Open ASR 英文榜开源第一
NVIDIA AI 官方账号 10 月 28 日发布 Nemotron 3.5 Transcribe，权重已上架 Hugging Face 和 ModelScope。它是可用自然语言指令驱动的离线语音模型，一个检查点同时做 40 种语言转写、31 种语言与英语互译、13 种语言的说话人标注和音频问答，可处理最长 1 小时录音、最多标注 8 位说话人。官方称它在 Hugging Face Open ASR 英文榜以 5.33% 平均 WER 居开源模型第一；Artificial Analysis 测得 AA-WER 2.8%，与 24B 激活参数的 Voxtral Small 并列开源第一。权重、Granary v2 训练数据和微调配方一并开放。
核心要点速览
- 架构：语音编码器加 Mamba-2/Transformer 混合 MoE 语言模型，总参数约 30B（模型卡含音频编码器计为 34B），每 token 激活约 4B（模型卡为 4.3B），提供 BF16、FP8、NVFP4 版本
- 能力：40 语种转写、31 语种与英语互译、13 语种说话人标注、音频问答（问答仅英语训练）、词级时间戳，单段最长 1 小时、最多 8 位说话人
- 官方/第三方口径：Open ASR 英文榜开源第一（平均 WER 5.33%），多语种 7 语言平均 4.62%，长音频 10.98%；Artificial Analysis AA-WER 2.8%，语音智能体对话集 AA-AgentTalk 1.8%（次优开源 2.3%）
- Artificial Analysis 在 DeepInfra 托管端点实测：速度因子 75 倍，1 分钟音频不到 1 秒转完，价格每 1000 分钟 2 美元
- 许可为 OpenMDW-1.1，可商用；配套开放 Granary v2 数据和 NeMo Speech 微调工具，官方医疗案例中微调比最佳提示词再降 45.8% 相对 WER
关联模型 / 智能体 / 厂商:
