Zyphra 11 月 9 日发布开源语音合成(TTS)模型 ZONOS3-Mini,权重以 Apache 2.0 协议上架 Hugging Face。它是稀疏 MoE 模型,总参数 8 亿、每 token 激活约 1 亿,用 112 张 H100 训练 2.5 天。官方口径:在 Pixel 9 浏览器里首段音频延迟低于 570 毫秒,M3 MacBook Air 上低于 150 毫秒;在自建的 ZTTS2-Eval(35 种语言朗读 + 20 种语言真实录音)能力指数上排名开源模型第一,领先 Fish S2 Pro 和 MOSS TTS v1.5。支持声线克隆、年龄/口音/性别调节和逐词语气控制,提供 WebGPU、SGLang、vLLM、GGML、MLX 等运行时。

核心要点速览

  • ✓规模:800M 总参、约 100M 激活(64 专家、top-2 路由),上一代 ZONOS2 为 8B,Apache 2.0 开放权重
  • ✓速度(官方口径):Pixel 9 浏览器首段音频 <570 ms,M3 MacBook Air <150 ms;单张 H100 在 8 并发下中位首音 80 ms,峰值每秒生成 457 秒音频
  • ✓自研 ZAC-1 编解码器帧率 15 Hz(原 DAC 为 86 Hz),同等数据下词错率降低约 10 倍;单次最多生成 10 分钟 44.1 kHz 音频
  • ✓评测:ZTTS2-Eval 覆盖 35 种语言朗读 + 20 种语言真实录音,420 项能力指数中开源模型排名第一,其次为 Fish S2 Pro 与 MOSS TTS v1.5(自建基准,暂无第三方复现)
  • ✓上手:浏览器 WebGPU 免安装试用,或 sgl-omni serve --model-path Zyphra/ZONOS3-Mini 起 OpenAI 兼容 /v1/audio/speech 接口
Zyphra 开源语音合成模型 ZONOS3-Mini:800M 总参、100M 激活的 MoE,Apache 2.0 协议,手机浏览器内实时运行,可逐词控制语气与声线克隆
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

做语音 Agent、游戏配音或有声内容时,高质量 TTS 往往要么走闭源 API(按字符计费、数据出境),要么用大模型自部署(显存贵、延迟高)。Zyphra 上一代 ZONOS2 用 8B 参数换质量,难以上端侧。ZONOS3-Mini 的目标是把开源 TTS 压到手机能实时跑。

架构亮点与底层机制

骨干为 11 层混合结构:9 层 Gated DeltaNet 加 2 层全局注意力,配 64 专家 top-2 的 latent MoE。自研 ZAC-1 编解码器把帧率从 86 Hz 降到 15 Hz,1 个语义码本加 9 个声学码本。说话人表征换成 MECT-B2,并经 DPO、GRPO 两阶段后训练提升稳定性。逐词语气控制通过监控对齐注意力头实现,另附编辑模型可改写已生成句子。

权威 Benchmark 与实测跑分对比

以下为 Zyphra 官方口径:浏览器端 Pixel 9 首音 <570 ms、M3 MacBook Air <150 ms;在自建 ZTTS2-Eval 能力指数上开源模型第一,领先 Fish S2 Pro、MOSS TTS v1.5。基准由厂商自建,尚无第三方复现,建议按自己语种实测。

开发者实战落地与开箱指南

最快方式是打开官方 WebGPU Voice Studio 直接试;服务端用 SGLang-Omni 一行命令起 OpenAI 兼容接口,加 references 参数即可克隆声线;Apple Silicon 可用 MLX 服务,CPU 可用 GGML。文本归一化覆盖中、英、日、韩等 9 种语言。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读Fish Audio 发布 Drama 3:35B MoE 开源权重 TTS,词级情绪导演,发音鲁棒性 93.2% 登顶 Artificial Analysis
立即阅读→