新加坡时间 11 月 13 日 00:30,Artificial Analysis(@ArtificialAnlys)发帖称,Salesforce 新发布的 SOV-Transcribe-1 成为开源权重语音转文字模型第一名:在 AA-WER 指数上词错误率 2.3%,在包括闭源模型在内的 44 个模型中排第 7。它比紧随其后的开源模型 Mistral Voxtral Small 和英伟达 Nemotron 3.5 Transcribe(均为 2.8%)低 0.5 个百分点。模型由 Salesforce 主权 AI(Missionforce Sovereign AI)团队开发,总参数 26.6B、激活参数 4.6B,结构是 Whisper large-v3 音频编码器加 Gemma 4 26B A4B MoE 解码器,权重以 Apache 2.0 许可发布在 Hugging Face。它是非流式模型,适合整段录音转写,不适合实时字幕。

核心要点速览

  • ✓AA-WER 2.3%:开源权重第 1、44 个模型中总榜第 7;Voxtral Small 与 Nemotron 3.5 Transcribe 均为 2.8%
  • ✓分数据集:Earnings22 财报电话 4.1%(Voxtral Small 4.8%),VoxPopuli 1.5%(对手 1.8%),AA-AgentTalk 语音客服对话 1.8%,与 Nemotron 持平
  • ✓26.6B 总参数 / 4.6B 激活;Whisper large-v3 编码器 + 投影层 + Gemma 4 26B A4B MoE;BF16,单段音频实测最长 30 分钟,支持英法德西意葡荷 7 种语言
  • ✓官方称 VoiceCodeBench(电话号码、邮箱等实体)任务成功率 76.3%、实体召回 93.4%,23 个系统中排第 2;AppTek 14 种英语口音平均 WER 8.21%,其中 8 种口音最低(含新加坡英语)
  • ✓Apache 2.0;可用 vLLM 插件(vLLM 0.32.0)或 Transformers 部署;官方实测单张 RTX PRO 6000 Blackwell 每秒可转写 1,039 秒音频(配合 DFlash 草稿模型)
Salesforce 开源语音识别模型 SOV-Transcribe-1:Artificial Analysis 词错误率 2.3%,开源第一、总榜第 7;26.6B 总参数仅 4.6B 激活,Apache 2.0 可自托管
🖼️要闻配图
点击全屏高清查看
🧭

本地显存不够?先比较云端 API 与自部署的实际成本

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

语音转文字是语音客服、会议纪要、电话质检这些场景的第一步。转写一旦出错,后面的大模型再强也会跟着错,尤其是电话号码、邮箱、账号这类关键信息,错一个字符整个任务就失败。过去效果最好的转写服务大多是闭源 API,政府、金融、医疗客户又往往不能把录音发到第三方服务器。Salesforce 这次通过旗下主权 AI 团队(Missionforce Sovereign AI)发布 SOV-Transcribe-1,主打「准确率接近一线闭源服务,同时可以完全部署在自己的机房里」。11 月 13 日凌晨,独立评测机构 Artificial Analysis 公布结果:它是目前开源权重语音转文字模型里的第一名。

架构亮点与底层机制

SOV-Transcribe-1 不是传统的专用 ASR 模型,而是「带语音输入的语言模型」:前端用 OpenAI Whisper large-v3 的音频编码器把 16kHz 音频变成特征,经过投影层接到谷歌 Gemma 4 26B A4B 混合专家(MoE)语言模型上,由语言模型直接生成转写文本。总参数 26.6B,每个 token 只激活约 4.6B(含音频编码器),权重为 BF16。因为解码器是语言模型,它可以听懂自然语言指令:用户可以指定输出逐字稿还是去掉口头禅的整理稿,控制标点、大小写和数字格式;也可以提前提供人名、专业术语或话题描述做「上下文偏置」,提高生僻词识别率。另外,官方单独发布了 DFlash 草稿模型,用于投机解码提速。需要注意,它是非流式模型,要拿到整段音频后再转写,单段实测最长 30 分钟。

权威 Benchmark 与实测跑分对比

Artificial Analysis 的 AA-WER 指数上,SOV-Transcribe-1 词错误率 2.3%(官方博客给出的精确值是 2.28%),在 44 个模型中排第 7,开源权重里排第 1。紧随其后的两个开源模型是 Mistral Voxtral Small 和英伟达 Nemotron 3.5 Transcribe,都是 2.8%。Voxtral Small 激活参数约 24B,是 SOV-Transcribe-1 的 5 倍多。分数据集看:Earnings22 财报电话 4.1%(Voxtral Small 4.8%),VoxPopuli 议会演讲 1.5%(对手 1.8%),AA-AgentTalk 语音客服对话 1.8%,与 Nemotron 持平。速度方面,AA 测得在 Salesforce 托管端点上速度系数为 60 倍,约 1 秒转写 1 分钟音频。以下数字来自 Salesforce 官方:VoiceCodeBench(考察电话号码、邮箱、网址等实体)任务成功率 76.3%、实体召回 93.4%,在 23 个系统中排第 2、开源第 1;AppTek 呼叫中心对话(14 种英语口音)平均 WER 8.21%,在其中 8 种口音上最低,包括澳洲、英国、印度和新加坡英语;HALAS 真实财报电话难例集 25.69%,低于 Qwen3-ASR 1.7B(26.01%)和 Voxtral Small(27.35%)。

开发者实战落地与开箱指南

权重在 Hugging Face 的 salesforce-sovereign-intelligence/SOV-Transcribe-1,许可证为 Apache 2.0,可以商用。目前 vLLM 和 Transformers 的原生支持还在合入上游:vLLM 需要安装仓库里 vllm_plugin 目录下的插件(会装 vLLM 0.32.0);Transformers 要求 5.19 到 5.23 之间的版本,并开启 trust_remote_code。官方实测单张 96GB 的 RTX PRO 6000 Blackwell,配合 DFlash 草稿模型每秒最多转写 1,039 秒音频,30 秒录音 0.22 秒出结果。BF16 权重约 26.6B 参数,单卡部署建议准备 80GB 以上显存。适合场景:录音转写、会议纪要、客服质检、需要准确记下电话号码和邮箱的语音表单。不适合:需要边说边出字的实时字幕或低延迟语音助手,这类场景仍需要流式模型。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读ElevenLabs 发布 Scribe v3 与 Scribe v3 Live 语音转文字模型:102 种语言词错误率比 v2 降 27%,实时版首次支持说话人分离,API 每小时 0.20/0.22 美元
立即阅读→