10 月 20 日,法国语音 AI 公司 Gradium 开源 Phonon 端侧文本转语音模型家族:英文 Phonon 31m(q8 权重 64 MB,Apache 2.0)和 Phonon 40m(英/法/德/西/葡单语版与五语合一版,CC BY-NC 非商用)。模型基于 Kyutai 的 Pocket TTS 和 Mimi 编解码器,自带推理栈,覆盖 CPU、Metal、CUDA、Vulkan、WebGPU、Core ML 和骁龙,可在手机、浏览器、树莓派上离线运行。官方称 MacBook Air M5 CPU 上首段音频 7 毫秒,Kokoro 为 517 毫秒。

核心要点速览

  • ✓许可要看清:只有英文 Phonon 31m 是 Apache 2.0 可商用;Phonon 40m 各语言版和多语版均为 CC BY-NC 4.0,商用需联系 Gradium
  • ✓体积(官方):31m 的 q8 权重 64 MB,40m 为 74.6 MB;内置 37 个英文音色,多语版 102 个,也可用 Gradium 克隆或设计的音色
  • ✓速度(官方实测):MacBook Air M5 CPU 4 线程首段音频 6.9 毫秒、29.9 倍实时;Kokoro 517 毫秒(Kokoro 不流式输出);树莓派 5 上 38 毫秒开口、3.7 倍实时;骁龙 8 Elite Gen 5 上 7.5 毫秒
  • ✓准确率(厂商自建难句集,每种语言 500 句,已在 HF 公开):英文 WER 31m 1.70%、40m 2.22%,Kokoro 3.50%、NeuTTS Nano 8.71%;号码、日期、版本号等结构化文本靠文本规范化读对
  • ✓上手:uvx ptts 或 pip install ptts 即可本地合成,另有浏览器 npm 包 phonon-tts 和 GitHub 运行时 gradium-ai/xn-ptts
Gradium 开源端侧 TTS 模型 Phonon:31M 参数、64 MB,笔记本 CPU 上 7 毫秒开口,英文版 Apache 2.0 可商用
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

语音 Agent 越来越多,但 TTS 基本靠云端 API:每次说话都要联网、按量付费、把文本发到服务器,延迟也受网络影响。端侧方案过去要么语种少,要么模型太大塞不进手机内存,要么音质不够上线。Kyutai 今年推出 Pocket TTS 后,小模型端侧语音开始可用;Gradium(由 Kyutai 核心成员创办)4 月首次公布 Phonon 并内测,这次正式开放权重。

架构亮点与底层机制

Phonon 基于 Pocket TTS 和 Kyutai 的 Mimi 编解码器:一个流匹配(flow-matching)Transformer 按每 80 毫秒一帧预测音频潜变量,再由 Mimi 解码器还原成 24 kHz 音频,边生成边流式输出。31m 指不含音频分词器的参数量。模型自带文本规范化,能正确读出电话号码、日期、温度、版本号。Gradium 还提供自研推理栈和 q8 GGUF 权重,后端覆盖 CPU(Intel、Arm、WebAssembly)、GPU(CUDA、Vulkan、Metal、WebGPU)和 NPU(Core ML、骁龙),并集成了 Arm 的 KleidiAI 加速库。

权威 Benchmark 与实测跑分对比

以下均为 Gradium 官方口径,暂无第三方独立复测:MacBook Air M5 CPU 4 线程下,Phonon 31m 首段音频 6.9 毫秒、29.9 倍实时,Kokoro 517 毫秒、10.9 倍实时,NVIDIA Magpie 239 毫秒、2.32 倍实时(Kokoro 不流式,首段即整句)。树莓派 5 上 31m 首段 38 毫秒、3.7 倍实时;骁龙 8 Elite Gen 5 上 7.5 毫秒、24 倍实时。准确率用 Gradium 自建的 500 句难句集(已在 HF 公开为 gradium/tts-hard-sentences-202610),英文 WER:31m 1.70%、40m 多语版 2.11%、40m 2.22%、Kokoro 3.50%、Kitten TTS 7.40%、NeuTTS Nano 8.71%。自然度方面,官方组织了 1,189 名听者、17,270 票的盲测,对比 Kokoro、Magpie、NeuTTS、Pocket TTS。

开发者实战落地与开箱指南

最快试用:uvx ptts --lang en --quant q8 --voice en_us_Easton "Hello from Phonon." -o speech.wav;Python 里 pip install ptts 后用 ptts.TTS("hf://gradium/phonon-31m-en", lang="en", quant="q8"),支持流式输出。浏览器用 npm 包 phonon-tts,HF Space 可直接在线听。做语音 Agent 可参考官方给的 Pipecat + Modal 纯 CPU 示例。选型注意:要商用就选英文 31m(Apache 2.0);40m 和多语版是 CC BY-NC,仅限非商用,商用或定制需找 Gradium。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读蚂蚁 inclusionAI 开源 5 款 Ming-3.0 语音模型:0.5B TTS 拿下开源权重音色控制第一,126B MoE 音频理解模型同步发布
立即阅读→