AI 编程实时动态与要闻

Hume 发布 Audio Decision API:直接对原始音频提问,一次调用判断情绪、说话人数和背景声,官方称与人类评审一致率 70.7%

语音 AI 公司 Hume 11 月 2 日发布 Audio Decision API,号称首个「音频原生」的问答式决策模型:开发者上传原始音频,用一句话写问题并给出候选答案,接口返回每个答案的概率,不经过转写。支持是/否、多选、打分和时间片段四类问题,可判断说话人数、是否有人笑、来电者是否不耐烦、背景是否有警笛等。官方口径:训练用了 1000 万以上条人类判断,初步评测与人类评审平均判断的一致率为 70.7%(单个评审基线 56.5%)。目前需申请或加入候补名单获取访问权限。

Hume 发布 Audio Decision API:直接对原始音频提问,一次调用判断情绪、说话人数和背景声,官方称与人类评审一致率 70.7%

核心要点速览

  • 官方口径:初步评测中与人类评审平均判断一致率 70.7%,单个评审基线为 56.5%;评测样本量和语种未公布。
  • 训练数据为 1000 万以上条人类感知判断(Hume X 帖子口径),博客称累计数千万条评审打分。
  • 四类问题:是/否、多选、打分、时间片段,新增一个问题只需一行 JSON,无需标注或重新训练。
  • 开发者接口为 POST /v0/decisions/file,另有输入 token 估算接口,提供 Python 和 TypeScript SDK。
  • 官方称以前要 10 个以上模型组合的工作现在一次调用完成;价格官方未公布。
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Hume Audio Decision Model🌐 Hume AI

Mistral 正式发布 Voxtral 3 语音大模型套件与实时 Voice-Agent API:端到端延迟低至 500 毫秒

Mistral AI 正式推出 Voxtral 3 语音多模态大模型家族与配套的实时 Voice-Agent API。该套件包含 40 亿参数的 Mini 转录模型、超越 Whisper 与 Gemini 3.5 的 Small 转录模型,以及基于 LiveKit 的端到端语音智能体 SDK。系统支持 50 种语言高精听写与说话人分离、跨 35+ 语言带情感标签的情感语音合成(TTS)以及 30 分钟音频专业级声音克隆。在 Artificial Analysis 独立基准评测中,Small Transcribe 3 以 2.1% 极低字错率登顶全球语音识别榜单季军,Realtime 转录单步延迟低至 500ms 以内,每分钟语音智能体调度成本低至 0.04 美元。

Mistral 正式发布 Voxtral 3 语音大模型套件与实时 Voice-Agent API:端到端延迟低至 500 毫秒

核心要点速览

  • Mistral 官方正式发布 Voxtral 3 全栈语音多模态模型家族,包含转录、情感 TTS、专业声音克隆与实时 Voice-Agent SDK
  • 在 Artificial Analysis 独立实测中,Small Transcribe 3 斩获 2.1% 极低错词率,击败 ElevenLabs Scribe v2(2.2%)与 Grok Voice 2.0(2.3%)
  • Realtime Transcribe 3 响应时间压缩至 500ms 以内,端到端完整语音 Agent 回合交互延迟突破 1 秒大关
  • 极致价格革命:Mini 转录每分钟仅需 0.0035 美元,搭配 Mistral Small 4 调度的全托管语音智能体每分钟仅 0.04 美元
阅读全文
关联模型 / 智能体 / 厂商:

Gradium 开源端侧 TTS 模型 Phonon:31M 参数、64 MB,笔记本 CPU 上 7 毫秒开口,英文版 Apache 2.0 可商用

10 月 20 日,法国语音 AI 公司 Gradium 开源 Phonon 端侧文本转语音模型家族:英文 Phonon 31m(q8 权重 64 MB,Apache 2.0)和 Phonon 40m(英/法/德/西/葡单语版与五语合一版,CC BY-NC 非商用)。模型基于 Kyutai 的 Pocket TTS 和 Mimi 编解码器,自带推理栈,覆盖 CPU、Metal、CUDA、Vulkan、WebGPU、Core ML 和骁龙,可在手机、浏览器、树莓派上离线运行。官方称 MacBook Air M5 CPU 上首段音频 7 毫秒,Kokoro 为 517 毫秒。

Gradium 开源端侧 TTS 模型 Phonon:31M 参数、64 MB,笔记本 CPU 上 7 毫秒开口,英文版 Apache 2.0 可商用

核心要点速览

  • 许可要看清:只有英文 Phonon 31m 是 Apache 2.0 可商用;Phonon 40m 各语言版和多语版均为 CC BY-NC 4.0,商用需联系 Gradium
  • 体积(官方):31m 的 q8 权重 64 MB,40m 为 74.6 MB;内置 37 个英文音色,多语版 102 个,也可用 Gradium 克隆或设计的音色
  • 速度(官方实测):MacBook Air M5 CPU 4 线程首段音频 6.9 毫秒、29.9 倍实时;Kokoro 517 毫秒(Kokoro 不流式输出);树莓派 5 上 38 毫秒开口、3.7 倍实时;骁龙 8 Elite Gen 5 上 7.5 毫秒
  • 准确率(厂商自建难句集,每种语言 500 句,已在 HF 公开):英文 WER 31m 1.70%、40m 2.22%,Kokoro 3.50%、NeuTTS Nano 8.71%;号码、日期、版本号等结构化文本靠文本规范化读对
  • 上手:uvx ptts 或 pip install ptts 即可本地合成,另有浏览器 npm 包 phonon-tts 和 GitHub 运行时 gradium-ai/xn-ptts
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Phonon 31m⚡ Phonon 40m⚡ Phonon 40m multilingual⚡ Pocket TTS⚡ Kokoro🤖 Pipecat🌐 Gradium🌐 Kyutai🌐 Arm🌐 Qualcomm🌐 Hugging Face