AI 编程实时动态与要闻

Meta AI（@AIatMeta）于 11 月 5 日宣布，Connect 上预览的 Muse Realtime Avatar 开始在美国 Muse App 灰度：把 Muse Realtime Voice 变成可互动的实时形象。研究博客称系统为音频驱动的 Diffusion Transformer，与语音共享 speech token 流以同步口型与表情；单会话在 GB200 上可流式输出 448×768@25fps，用户话轮结束到音视频首字节约 870ms，并用 Meta Video Seal 做不可见水印。面向 18+ 用户；官方未公布全球时间表与开发者 API。

查看大图

Google 于 11 月 5 日宣布 Gemini Omni 1.2 Flash（gemini-omni-1.2-flash）在 AI Studio 与 Gemini API 正式可用：视频生成与编辑上限提到 15 秒，官方称视频输出定价较上一代降约 30%（约 $12/百万 token，720p 有效价约 $0.07/秒），并加强多参考图一致性与对白自然度。changelog 写明自 2026-12-03 起，对 gemini-omni-1.1-flash 的请求将按 1.2 费率自动路由到 1.2。

查看大图

语音 AI 公司 Hume 11 月 2 日发布 Audio Decision API，号称首个「音频原生」的问答式决策模型：开发者上传原始音频，用一句话写问题并给出候选答案，接口返回每个答案的概率，不经过转写。支持是/否、多选、打分和时间片段四类问题，可判断说话人数、是否有人笑、来电者是否不耐烦、背景是否有警笛等。官方口径：训练用了 1000 万以上条人类判断，初步评测与人类评审平均判断的一致率为 70.7%（单个评审基线 56.5%）。目前需申请或加入候补名单获取访问权限。

查看大图

语音模型公司 Cartesia 于 10 月 29 日发布 Managed Agents，一个面向企业电话场景的端到端语音 agent 平台，把自家语音识别、语音合成模型与 agent 框架一起设计调优，并自带电话接入、知识库、工具调用和批量外呼。官方称它在 Artificial Analysis 的 Speech Agent Arena 中以 1115 Elo 排第 1，在 ServiceNow 的 EVA-Bench 上拿到 87.4% 准确率和 90.7% 体验分（均为厂商口径，推理模型为 GPT-5.5）；上线期价格打五折，为每分钟 0.03 美元。

查看大图

NVIDIA AI 官方账号 10 月 28 日发布 Nemotron 3.5 Transcribe，权重已上架 Hugging Face 和 ModelScope。它是可用自然语言指令驱动的离线语音模型，一个检查点同时做 40 种语言转写、31 种语言与英语互译、13 种语言的说话人标注和音频问答，可处理最长 1 小时录音、最多标注 8 位说话人。官方称它在 Hugging Face Open ASR 英文榜以 5.33% 平均 WER 居开源模型第一；Artificial Analysis 测得 AA-WER 2.8%，与 24B 激活参数的 Voxtral Small 并列开源第一。权重、Granary v2 训练数据和微调配方一并开放。

查看大图

腾讯混元（Tencent Hy）10 月 26 日开源实时同声传译模型 Hy-SimulMT，支持中英双向语音到语音翻译，边听边译，同时输出译文文本和语音，并可实时克隆说话人音色。Hugging Face 上一次放出 6 个权重（30B-A3B 的纯译文版与带原文的 Interleave 版，各含 BF16、FP8、GGUF），模型卡标注 Apache-2.0；GitHub 同步提供 SimulInfer 推理服务与 SimulTrain 训练工具。官方口径：RealSI 长音频评测 StreamLAAL 约 3 秒，为对比系统最低。

查看大图

2026-10-23（UTC 16:53，SGT 10-24 00:53），Block 官方账号 @blocks 发布 Dessa，Jack Dorsey 随后转发称其为「迄今最真实的全双工语音模型」。官方页面 block.xyz/dessa 介绍：Dessa 是真正的语音到语音模型，训练数据只有人类对话录音，不用文本、不用任何预训练模型；全双工，能边听边说，会自然插话和附和（“yeah!”“got it!”），推理快于实时，可在 MacBook Pro M4 Max 或更高配置上本地运行。官方称只用一套 NVIDIA GB200 NVL72 完成训练，学习语言所需的词量比 LLM 少数百倍。目前没有公开 API 或权重，只向一小批 AI 安全研究者开放早期访问。

查看大图

Google AI Studio 团队发布 Gemini API CLI（命令名 gemini-api）实验预览版。它是一个无状态、零依赖的 Go 单文件，支持 macOS、Linux、Windows，Apache 2.0 开源。任何有 shell 权限的编码 Agent 配好 GEMINI_API_KEY 后，就能用一条命令调用文本推理、图像/视频/音乐/语音生成、文件与 YouTube 分析、音视频转写，以及 Deep Research 等托管 Agent。媒体结果直接写到磁盘、只把文件路径打印到 stdout，避免把 base64 塞进上下文。官方说明它是实验项目，不属于受支持的 Google 产品。

查看大图

10 月 20 日，法国语音 AI 公司 Gradium 开源 Phonon 端侧文本转语音模型家族：英文 Phonon 31m（q8 权重 64 MB，Apache 2.0）和 Phonon 40m（英/法/德/西/葡单语版与五语合一版，CC BY-NC 非商用）。模型基于 Kyutai 的 Pocket TTS 和 Mimi 编解码器，自带推理栈，覆盖 CPU、Metal、CUDA、Vulkan、WebGPU、Core ML 和骁龙，可在手机、浏览器、树莓派上离线运行。官方称 MacBook Air M5 CPU 上首段音频 7 毫秒，Kokoro 为 517 毫秒。

查看大图

10 月 20 日，ElevenLabs 发布 Eleven Realtime，一类端到端语音到语音模型，每个模型本身就是完整的语音 Agent，不再需要自己拼语音识别、大模型和语音合成。v1 Mini 主打低成本自然对话，v1 Max 面向客服和多步骤工具调用。两者支持 90+ 语言、可用 17,000+ 种音色。官方引用 Artificial Analysis 独立评测：Max 在 Big Bench Audio 答对 98.8%、平均 0.57 秒开始说话。接口兼容 OpenAI Realtime API，改端点和模型名即可迁移。

查看大图

10 月 20 日，Mistral 发布 Voxtral 3：语音转文字模型 Voxtral Small/Mini Transcribe 3、实时转写 Voxtral Mini Transcribe Realtime 3、语音合成 Voxtral Mini TTS 3（Voxtral Speech 3），以及基于 LiveKit 的语音 Agent SDK，把“听—思考调工具—说”串成一条流式管线，官方称每轮响应不到 1 秒。转写覆盖 50+ 语言并支持说话人分离和上下文偏置，TTS 覆盖 35+ 语言、50+ 方言，另有 30 分钟录音即可复刻音色的 Pro Voice。模型已通过 Mistral API（欧盟、美国、全球端点）上线，也可自部署。

查看大图

在 Artificial Analysis 最新发布的全球文本转语音（TTS）独立基准评测中，蚂蚁集团（Ant Group）开源的 Ming-3.0-tts 斩获 93.2% 的发音准确率，在全部 31 款参评模型中位列第一（超越 ElevenLabs v4 的 91.7%）。该模型提供 0.5B 密集版与 7.9B MoE 架构版本，支持高质量声音克隆与预设音色，在受控声音评测榜以 1,069 Elo 分位居开源第一，且以极度宽松的 MIT 开源协议完全向开发者免费开放。

查看大图

蚂蚁 Ant Ling（inclusionAI）10 月 19 日以 MIT 协议开源 Ming-3.0 的 5 个模型，覆盖语音合成（tts-0.5B、tts-tiny 7.9B/1.3B 激活）、音频理解（audio-flash 126B/6.5B 激活、audio-tiny 9.3B/2.7B 激活）和语音识别（asr-tiny 8.6B/2B 激活）。官方称 tts-0.5B 在 Artificial Analysis Controlled Voice 榜以 1069 Elo 位列开源权重第一，发音稳健性 93.2% 并列全榜第一；asr-tiny 四类 ASR 平均错误率 4.41%。权重已上 Hugging Face 和 ModelScope，SGLang 与 vLLM 首日支持。

查看大图

OpenAI 于 10 月 16 日在官方更新日志宣布，prompt-to-voice 向所有 API 客户正式开放：开发者用一段文字描述口音、音高、音色和语速，即可通过 /v1/audio/voices 接口或 voice Playground 生成并保存自定义音色，在 GPT-Live 会话中复用。创建音色免费，语音生成按常规 GPT-Live 会话计费；每个组织最多保存 100 个。同时新增 9 个自然音色，覆盖德语、法语、印地语、日语和韩语。

查看大图

阿联酋 MBZUAI 旗下 Institute of Foundation Models（IFM）与 Inception42 于 2026-10-15 正式发布 Jais 3：在开源底座 K2 Horizon 上做的首个语言适配，提供六档开源权重（0.9B 稠密至 375B-A23B 稀疏 MoE，每 token 激活约 23B）与阿拉伯语 ASR 模型 Jais Speech。全系列共享训练配方与智能体能力，上下文最长 512K（0.9B 为 128K），Apache-2.0，权重与分阶段 checkpoint 已上 Hugging Face，vLLM 宣布 Day-0 支持。

查看大图