AI 编程实时动态与要闻

Boson AI（李沐、Alex Smola 团队）于 2026-11-05 发布研究预览 Higgs Realtime Duplex：一个 45B MoE 前台模型，把语音、视频、工具结果都切成 160ms 分块同时收发，可边听边看边说、实时渲染自己的脸，同时思考、调用工具或把难题委派给更大的后端模型而不中断对话。官方口径 Big Bench Audio 98.9、τ-Voice 69.8、Full-Duplex-Bench v1.5 75.5。目前 API 仅开放候补名单，旧版 Higgs Realtime 已可用。

查看大图

2026-11-06，Cursor Changelog 发布 Voice Chat with Agents：在 Agents Window、IDE、网页与 iOS 上与编码 Agent 实时双向语音通话；语音听写仍是另一功能。语音层由 Grok Voice 负责（可选 Ara/Eve/Leo/Rex/Sal 等），编码仍用你为该 Agent 选择的模型；开启 Privacy Mode 时语音零留存。需登录 Cursor 账号（仅 API Key 不可发起通话）。

查看大图

Meta AI（@AIatMeta）于 11 月 5 日宣布，Connect 上预览的 Muse Realtime Avatar 开始在美国 Muse App 灰度：把 Muse Realtime Voice 变成可互动的实时形象。研究博客称系统为音频驱动的 Diffusion Transformer，与语音共享 speech token 流以同步口型与表情；单会话在 GB200 上可流式输出 448×768@25fps，用户话轮结束到音视频首字节约 870ms，并用 Meta Video Seal 做不可见水印。面向 18+ 用户；官方未公布全球时间表与开发者 API。

查看大图

OpenAI Realtime AI 负责人 Justin Uberti 11 月 4 日发帖称 GPT-Live 外呼电话 API 已 GA：Live 语音智能体可通过 Telnyx、Twilio 等任意 SIP 中继主动拨号，支持 HD Voice 与双向 DTMF。官方文档给出 Live API + SIP transport 接入方式；Greg Brockman 转发确认。

查看大图

Mistral AI 正式推出 Voxtral 3 语音多模态大模型家族与配套的实时 Voice-Agent API。该套件包含 40 亿参数的 Mini 转录模型、超越 Whisper 与 Gemini 3.5 的 Small 转录模型，以及基于 LiveKit 的端到端语音智能体 SDK。系统支持 50 种语言高精听写与说话人分离、跨 35+ 语言带情感标签的情感语音合成（TTS）以及 30 分钟音频专业级声音克隆。在 Artificial Analysis 独立基准评测中，Small Transcribe 3 以 2.1% 极低字错率登顶全球语音识别榜单季军，Realtime 转录单步延迟低至 500ms 以内，每分钟语音智能体调度成本低至 0.04 美元。

查看大图

10 月 20 日，ElevenLabs 发布 Eleven Realtime，一类端到端语音到语音模型，每个模型本身就是完整的语音 Agent，不再需要自己拼语音识别、大模型和语音合成。v1 Mini 主打低成本自然对话，v1 Max 面向客服和多步骤工具调用。两者支持 90+ 语言、可用 17,000+ 种音色。官方引用 Artificial Analysis 独立评测：Max 在 Big Bench Audio 答对 98.8%、平均 0.57 秒开始说话。接口兼容 OpenAI Realtime API，改端点和模型名即可迁移。

查看大图

10 月 20 日，Mistral 发布 Voxtral 3：语音转文字模型 Voxtral Small/Mini Transcribe 3、实时转写 Voxtral Mini Transcribe Realtime 3、语音合成 Voxtral Mini TTS 3（Voxtral Speech 3），以及基于 LiveKit 的语音 Agent SDK，把“听—思考调工具—说”串成一条流式管线，官方称每轮响应不到 1 秒。转写覆盖 50+ 语言并支持说话人分离和上下文偏置，TTS 覆盖 35+ 语言、50+ 方言，另有 30 分钟录音即可复刻音色的 Pro Voice。模型已通过 Mistral API（欧盟、美国、全球端点）上线，也可自部署。

查看大图

官方 TypeScript SDK [email protected]（v7.25.0，2026-09-29）在 beta.agents 加入 Computer Use（#2837），与同日 Python 3.22.0 能力对齐。紧前版 v7.24.0 已落地 Agents credential/session（#2812）、gpt-6.1-sol 标识（#2836）、Responses Cyber access、Realtime Translation client secret 与专用 Node Translation WebSocket。相对 v7.23.0...v7.25.0 ahead_by 35。

查看大图

OpenAI 于 2026-09-28 发布官方 Python SDK v3.20.0：为 Agents 凭据增加 metadata 与免替换鉴权的更新路径，会话支持 ultrafast 服务档与 misalignment_policy_violation；Responses 可声明 Cyber access program（standard/daybreak_blue/daybreak_red）；并提供可选 ResponsesWebSocketAccumulator，在流式场景输出不可变的文本/工具增量快照。同期修复 Live/Realtime WebSocket 路径查询串、队列重放与未映射 TLS 重试。

查看大图

LiveKit 于 2026-09-26 在 GitHub 发布 Python 包 [email protected]（PyPI livekit-agents 1.8.3）：Google Gemini 3.8 Live 路径默认 tool_behavior=NON_BLOCKING，并在 text API 上以 parameters_json_schema 发送 FunctionTool schema；OpenAI 侧新增 GPTLiveModel.with_azure，Realtime inference client 迁入 agents core；STT 增加 AssemblyAI universal-3-6-pro 与 language_confidence，ElevenLabs realtime chunk duration 可配；语音栈修复并行工具取消 handoff、按 call_id 配对 tool output、fallback/stream adapter 原样转发帧，以及 LiveAvatar 打断与插件注册。同日 JS @livekit/[email protected] 强化 agent_turn 遥测与自适应打断。

查看大图

CopilotKit 于 2026-09-25 发布 v1.74.0（npm @copilotkit/react-core 1.74.0）：各 SDK 可消费来自多个容器的 learned skills，把技能资产从单运行时扩展到可组合的多容器供给；Web Inspector 支持定向 What's New 通知，并跟踪 launcher HUD 的曝光与操作。修复包括：threads drawer 不再因未解析 entitlement 锁死、未真正打开的 socket 停止刷新 realtime 凭证、React 侧停止逐条 message 状态克隆与虚拟滚动拉扯、授予空权限的 Memory policy 不再直接导致 run 失败。

查看大图

Pydantic AI 于 2026-09-25 发布 v2.51.0：新增 OpenAILiveModel 支持 OpenAI GPT-Live 实时会话，并在 realtime session 上暴露 context_window_used（来自 GPT-Live 上报比例或 response usage）；兼容性上对齐 dated gemini-3.8-live 标识、在连接阶段拒绝 Google Affective Dialog，并对强制 tool_choice 的 realtime 调用抛 UserError。PyPI pydantic-ai 2.51.0 已同步。

查看大图

Pydantic AI 于 2026-09-25 发布 2.50.0：新增 DecisionModel 基类（TypeSafeModel 实现之），按路由名询问 Decision、可选 decision_route_threshold，并补齐 Gemini 3.8 Live 实时语音、durable 上下文标记与音频秒级计费。

查看大图

Pydantic AI 于 2026-09-24 发布 v2.49.0（PyPI 同步）。亮点包括 GitHubCopilotOAuthFlow 设备授权、BoolCriteria 语义化是/否字段、RealtimeSession.wait_for_reply()，以及 Bedrock Converse 对 gpt-6-sol / gpt-6-luna / gpt-6-astra 的兼容修复与 GPT-5.6/GPT-6 参数剥离，避免 400。

查看大图