蚂蚁 inclusionAI 开源 5 款 Ming-3.0 语音模型：0.5B TTS 拿下开源权重音色控制第一，126B MoE 音频理解模型同步发布

核心背景与行业痛点

语音 Agent、播客生成和客服质检都要同时用到「说、听、懂」三类模型，但开源方案往往各自为政，音色控制弱、方言识别差，商用协议也不清晰。蚂蚁 inclusionAI 这次把 TTS、音频理解和 ASR 一次性开源，并统一采用 MIT 协议，降低了自建语音栈的门槛。

架构亮点与底层机制

tts-0.5B 是基于 Qwen2.5-0.5B 的稠密模型，带 DiT 生成头、音频 tokenizer 和说话人编码器，支持零样本克隆、用一句话描述设计新音色、情绪语速音高控制和 14 种副语言标签。tts-tiny 基于 Ling V3（7.9B 总参、1.3B 激活），面向长篇多人播客。audio-flash 由音频编码器加 MoE 语言主干组成（126B 总参、6.5B 激活），可选 Talker 输出语音。asr-tiny 基于 Ling-tiny-v3，可在提示里注入热词和前文对话。

权威 Benchmark 与实测跑分对比

以下为官方口径：tts-0.5B 在 Artificial Analysis Controlled Voice 获 1069 Elo，为开源权重第一；Provider Voice 1188 Elo 排第 3；发音稳健性 93.2% 并列全部模型第一。asr-tiny 在四类 ASR 任务平均错误率 4.41%，并在 15 个方言测试集上评测。audio-flash 的音频理解跑分官方未在发布帖中给出统一汇总。

开发者实战落地与开箱指南

权重在 Hugging Face 和 ModelScope 的 inclusionAI 组织下。TTS 需配合 GitHub 仓库 Ming-3.0-tts 推理，官方在 H800 与 H20、CUDA 12.4 上测试，flash-attn 可选。audio-flash 和 asr-tiny 走 Transformers 自定义代码，需开启 trust_remote_code，建议先审阅代码。线上服务可直接用 SGLang-Omni 或 vLLM 的首日支持。