11 月 8 日,团队 Adventists AI 在 GitHub、Hugging Face、ModelScope 和 PyPI 发布 Sophon-Realtime v1 全双工语音模型家族,代码和权重均为 Apache 2.0、可商用。三个版本共用一个 32B「大脑」(基于 Qwen3-VL-32B-Instruct 改造),负责边听边判断轮次并写回复,区别只在发声方式:推荐的 Tag 版表现力最强,Flash 版首包音频 0.31 秒、单卡最多 40 路并发,E2E 版为研究预览、需两张 80GB GPU。厂商口径 VoiceBench 82.8、Big Bench Audio 81.8%,在开源全双工模型中排第一;跑分均为团队自测。

核心要点速览

  • ✓跑分(厂商口径,团队自测,见 GitHub README):VoiceBench 82.8、Big Bench Audio 81.8%,开源全双工模型第一,VoiceBench 与 GPT-4o-mini-Audio 持平
  • ✓听语气:副语言理解综合 48.6,高于 Gemini 3.8 Flash(46.9)和 Qwen3-Omni(44.6);Full-Duplex-Bench v3 工具调用 Pass@1 48%,高于 Grok 的 43%
  • ✓三个版本:Tag 首包约 0.6 秒、单卡 16 路;Flash 首包 0.31 秒、单卡 40 路;E2E 约 1 秒、需 2 张 80GB GPU(H100 实测,厂商口径)
  • ✓上手:pip install sophon-realtime 后 sophon-realtime serve,首次自动下载约 42GB 的 Tag 权重,在 8000 端口提供 OpenAI Realtime 风格的 WebSocket 接口(见 PyPI)
  • ✓许可与底座:代码和权重 Apache 2.0;Tag 的思考模型源自 Qwen3-VL-32B-Instruct 并量化为 FP8,发声模型源自 Fun-CosyVoice3-0.5B(见 Hugging Face)
Adventists AI 开源全双工语音模型 Sophon-Realtime v1:32B「大脑」配三种发声版本,VoiceBench 82.8 与 GPT-4o-mini-Audio 持平,单张 80GB GPU 可跑,Apache 2.0
🖼️要闻配图
点击全屏高清查看
🧭

本地显存不够?先比较云端 API 与自部署的实际成本

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

语音 Agent 正从「你说完我再说」的半双工,走向像打电话一样能被打断、会接话的全双工。闭源方案有 OpenAI GPT-Live、GPT-4o 系列语音接口;开源一侧此前有 Moshi、MiniCPM-o、Freeze-Omni,本站也报道过 Block 的 Dessa 和 Boson AI 的 Higgs Realtime Duplex。开源方案的普遍短板是「大脑」偏弱、听不出语气,也很难在单卡上服务多路并发。

架构亮点与底层机制

Sophon-Realtime v1 三个版本共用一个 32B「大脑」:它在用户每次停顿时只用一个 token 判断对方是说完了、还在说、在附和还是在思考,并从第一次停顿起就预先起草回复,用户继续说就丢弃草稿;被打断时立即停下,只把用户实际听到的部分留在对话历史里。大脑还会在回复里标注笑、叹气、呼吸、重读等声音标签,由发声模型演出来而不是念出来。Tag 版用基于 Fun-CosyVoice3-0.5B 的表现力 TTS,Flash 版换成每 80 毫秒一帧、单次前向的轻量发声模型,E2E 版则把发声器做进 32B 模型内部。

权威 Benchmark 与实测跑分对比

以下均为团队自测(厂商口径):VoiceBench 82.8、Big Bench Audio 81.8%,在开源全双工模型中第一;副语言理解 48.6,高于 Gemini 3.8 Flash 的 46.9;Full-Duplex-Bench v3 工具调用 Pass@1 48%,Grok 为 43%。非语言声音评测 NVV-SuperBench 上 Tag 版中文 0.86、英文 0.80。官方也承认叹气、边说边笑等标签仍偏弱,中文清晰度略逊英文,超过约 1 分钟的长回复超出训练范围。目前没有第三方独立复测。

开发者实战落地与开箱指南

需要 Linux、CUDA、Python 3.12 和一张 80GB 显卡(H100、H800 或 A100 80G)。最快的方式是 pip install sophon-realtime,再运行 sophon-realtime serve,服务会暴露 ws://HOST:8000/v1/realtime 全双工接口和 POST /v1/chat/completions。仓库里的 Live 模式网关兼容 OpenAI GPT-Live 协议,已有 GPT-Live 客户端只需改 URL 和 key 就能切换。也可以用 ms-swift 在单卡上做 LoRA 微调人设和领域知识。客服、车载等高并发场景优先试 Flash,陪伴和角色类应用试 Tag,上线前建议用自己的真实录音测打断和中文效果。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读OpenAI 发布 GPT-Live-1.1 与 GPT-Live-1.1 Quip:ChatGPT、Codex、dots 语音默认模型升级,新增 6 种语言音色,API 即将开放
立即阅读→