AI 编程实时动态与要闻

Mistral AI 正式推出 Voxtral 3 语音多模态大模型家族与配套的实时 Voice-Agent API。该套件包含 40 亿参数的 Mini 转录模型、超越 Whisper 与 Gemini 3.5 的 Small 转录模型，以及基于 LiveKit 的端到端语音智能体 SDK。系统支持 50 种语言高精听写与说话人分离、跨 35+ 语言带情感标签的情感语音合成（TTS）以及 30 分钟音频专业级声音克隆。在 Artificial Analysis 独立基准评测中，Small Transcribe 3 以 2.1% 极低字错率登顶全球语音识别榜单季军，Realtime 转录单步延迟低至 500ms 以内，每分钟语音智能体调度成本低至 0.04 美元。

查看大图

10 月 20 日，法国语音 AI 公司 Gradium 开源 Phonon 端侧文本转语音模型家族：英文 Phonon 31m（q8 权重 64 MB，Apache 2.0）和 Phonon 40m（英/法/德/西/葡单语版与五语合一版，CC BY-NC 非商用）。模型基于 Kyutai 的 Pocket TTS 和 Mimi 编解码器，自带推理栈，覆盖 CPU、Metal、CUDA、Vulkan、WebGPU、Core ML 和骁龙，可在手机、浏览器、树莓派上离线运行。官方称 MacBook Air M5 CPU 上首段音频 7 毫秒，Kokoro 为 517 毫秒。

查看大图

10 月 20 日，Mistral 发布 Voxtral 3：语音转文字模型 Voxtral Small/Mini Transcribe 3、实时转写 Voxtral Mini Transcribe Realtime 3、语音合成 Voxtral Mini TTS 3（Voxtral Speech 3），以及基于 LiveKit 的语音 Agent SDK，把“听—思考调工具—说”串成一条流式管线，官方称每轮响应不到 1 秒。转写覆盖 50+ 语言并支持说话人分离和上下文偏置，TTS 覆盖 35+ 语言、50+ 方言，另有 30 分钟录音即可复刻音色的 Pro Voice。模型已通过 Mistral API（欧盟、美国、全球端点）上线，也可自部署。

查看大图

在 Artificial Analysis 最新发布的全球文本转语音（TTS）独立基准评测中，蚂蚁集团（Ant Group）开源的 Ming-3.0-tts 斩获 93.2% 的发音准确率，在全部 31 款参评模型中位列第一（超越 ElevenLabs v4 的 91.7%）。该模型提供 0.5B 密集版与 7.9B MoE 架构版本，支持高质量声音克隆与预设音色，在受控声音评测榜以 1,069 Elo 分位居开源第一，且以极度宽松的 MIT 开源协议完全向开发者免费开放。

查看大图

蚂蚁 Ant Ling（inclusionAI）10 月 19 日以 MIT 协议开源 Ming-3.0 的 5 个模型，覆盖语音合成（tts-0.5B、tts-tiny 7.9B/1.3B 激活）、音频理解（audio-flash 126B/6.5B 激活、audio-tiny 9.3B/2.7B 激活）和语音识别（asr-tiny 8.6B/2B 激活）。官方称 tts-0.5B 在 Artificial Analysis Controlled Voice 榜以 1069 Elo 位列开源权重第一，发音稳健性 93.2% 并列全榜第一；asr-tiny 四类 ASR 平均错误率 4.41%。权重已上 Hugging Face 和 ModelScope，SGLang 与 vLLM 首日支持。

查看大图

Fish Audio 于 2026-10-13 发布 Drama 3：以自然语言方括号指令导演情绪与节奏的 TTS，开源权重上架 Hugging Face，API 头 model: drama-3。骨干为约 35B 参数 MoE（每 token 约 3B 激活，自 Qwen3.5-35B-A3B 语言塔初始化），配合 codebook-MTP 音频解码器与人类偏好 RL。独立评测 Artificial Analysis Pronunciation Robustness 93.2%（S2.1 Pro 88.1%）；支持 83 语种、最多 16 说话人；Community License 年营收低于 50 万美元可免费商用。启动至 11 月 12 日 API 特价约 $10/百万字符。

查看大图

Google 于 2026-09-30 发布 @google/genai v2.25.0（npm 约 2026-09-30T22:51Z；相对 v2.24.0...v2.25.0 ahead_by 11）。与同日 Python google-genai 2.26.0 对齐：加入 Gemini 3.8 Flash / Lite TTS 模型枚举；独立 Environments 模块与 from_environment；GenerateContent / LiveClientSetup 支持 labels；调参任务可导出 gcs_metrics_uri。

查看大图

Google 于 2026-09-30 发布 google-genai v2.26.0（PyPI 约 2026-09-30T22:53Z；相对 v2.25.0...v2.26.0 ahead_by 18）。模型枚举新增 gemini-3.8-flash-tts（Voice Design / 双说话人剧本控制）与 gemini-3.8-flash-lite-tts（高速配音与语音 Agent，定位替换 gemini-3.1-flash-tts-preview）；首发独立 Environments 模块与 from_environment；GenerateContent / LiveClientSetup 支持 labels；调参任务可导出 gcs_metrics_uri。

查看大图

开源一站式分布式大模型推理框架 Xinference（xorbitsai/inference）正式发布 v3.5.0 重大更新。新版本全面升级多模态推理矩阵：在音频与音乐领域原生集成 YuE2 音乐生成大模型，并新增对 AuK / AuK-Flash 与 Irodori TTS v4.1 的支持；在 Apple Silicon 生态中，针对 FishAudio-S2-Pro、Irodori TTS Small 与 Breeze TTS 2 实现原生 Apple MLX 硬件加速。此外，新版集成了商汤 MinerU2.5 高密度复杂文档解析大模型与 LingBot-World-V2 具身世界模型，并在核心引擎中支持端到端 Actor 调用链路元数据（Correlation Metadata）穿透，显著提升分布式 Agent 推理集群的可观测性。

查看大图

开源语音/多模态助手框架 Pipecat 于 2026-09-26 发布 v1.12.0：TTSService.pronunciation_transform_ipa() 用词→IPA 映射生成可跨 Cartesia/ElevenLabs/Inworld/Deepgram 复用的发音变换；MOQTransport 增加客户端模式重连与 session-ending 标记；新增 Pipecat Classifiers、LLMClassifier、帧级 interruptible，以及 LLM run_inference 的 response_schema。PyPI pipecat-ai 1.12.0 已同步。

查看大图