11 月 8 日,团队 Adventists AI 在 GitHub、Hugging Face、ModelScope 和 PyPI 发布 Sophon-Realtime v1 全双工语音模型家族,代码和权重均为 Apache 2.0、可商用。三个版本共用一个 32B「大脑」(基于 Qwen3-VL-32B-Instruct 改造),负责边听边判断轮次并写回复,区别只在发声方式:推荐的 Tag 版表现力最强,Flash 版首包音频 0.31 秒、单卡最多 40 路并发,E2E 版为研究预览、需两张 80GB GPU。厂商口径 VoiceBench 82.8、Big Bench Audio 81.8%,在开源全双工模型中排第一;跑分均为团队自测。
核心要点速览
- ✓跑分(厂商口径,团队自测,见 GitHub README):VoiceBench 82.8、Big Bench Audio 81.8%,开源全双工模型第一,VoiceBench 与 GPT-4o-mini-Audio 持平
- ✓听语气:副语言理解综合 48.6,高于 Gemini 3.8 Flash(46.9)和 Qwen3-Omni(44.6);Full-Duplex-Bench v3 工具调用 Pass@1 48%,高于 Grok 的 43%
- ✓三个版本:Tag 首包约 0.6 秒、单卡 16 路;Flash 首包 0.31 秒、单卡 40 路;E2E 约 1 秒、需 2 张 80GB GPU(H100 实测,厂商口径)
- ✓上手:
pip install sophon-realtime后sophon-realtime serve,首次自动下载约 42GB 的 Tag 权重,在 8000 端口提供 OpenAI Realtime 风格的 WebSocket 接口(见 PyPI) - ✓许可与底座:代码和权重 Apache 2.0;Tag 的思考模型源自 Qwen3-VL-32B-Instruct 并量化为 FP8,发声模型源自 Fun-CosyVoice3-0.5B(见 Hugging Face)

开发者 3 秒速决决策指标
本地显存不够?先比较云端 API 与自部署的实际成本
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
语音 Agent 正从「你说完我再说」的半双工,走向像打电话一样能被打断、会接话的全双工。闭源方案有 OpenAI GPT-Live、GPT-4o 系列语音接口;开源一侧此前有 Moshi、MiniCPM-o、Freeze-Omni,本站也报道过 Block 的 Dessa 和 Boson AI 的 Higgs Realtime Duplex。开源方案的普遍短板是「大脑」偏弱、听不出语气,也很难在单卡上服务多路并发。
架构亮点与底层机制
Sophon-Realtime v1 三个版本共用一个 32B「大脑」:它在用户每次停顿时只用一个 token 判断对方是说完了、还在说、在附和还是在思考,并从第一次停顿起就预先起草回复,用户继续说就丢弃草稿;被打断时立即停下,只把用户实际听到的部分留在对话历史里。大脑还会在回复里标注笑、叹气、呼吸、重读等声音标签,由发声模型演出来而不是念出来。Tag 版用基于 Fun-CosyVoice3-0.5B 的表现力 TTS,Flash 版换成每 80 毫秒一帧、单次前向的轻量发声模型,E2E 版则把发声器做进 32B 模型内部。
权威 Benchmark 与实测跑分对比
以下均为团队自测(厂商口径):VoiceBench 82.8、Big Bench Audio 81.8%,在开源全双工模型中第一;副语言理解 48.6,高于 Gemini 3.8 Flash 的 46.9;Full-Duplex-Bench v3 工具调用 Pass@1 48%,Grok 为 43%。非语言声音评测 NVV-SuperBench 上 Tag 版中文 0.86、英文 0.80。官方也承认叹气、边说边笑等标签仍偏弱,中文清晰度略逊英文,超过约 1 分钟的长回复超出训练范围。目前没有第三方独立复测。
开发者实战落地与开箱指南
需要 Linux、CUDA、Python 3.12 和一张 80GB 显卡(H100、H800 或 A100 80G)。最快的方式是 pip install sophon-realtime,再运行 sophon-realtime serve,服务会暴露 ws://HOST:8000/v1/realtime 全双工接口和 POST /v1/chat/completions。仓库里的 Live 模式网关兼容 OpenAI GPT-Live 协议,已有 GPT-Live 客户端只需改 URL 和 key 就能切换。也可以用 ms-swift 在单卡上做 LoRA 微调人设和领域知识。客服、车载等高并发场景优先试 Flash,陪伴和角色类应用试 Tag,上线前建议用自己的真实录音测打断和中文效果。
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察