AI 编程实时动态与要闻

Mistral AI 正式推出 Voxtral 3 语音多模态大模型家族与配套的实时 Voice-Agent API。该套件包含 40 亿参数的 Mini 转录模型、超越 Whisper 与 Gemini 3.5 的 Small 转录模型，以及基于 LiveKit 的端到端语音智能体 SDK。系统支持 50 种语言高精听写与说话人分离、跨 35+ 语言带情感标签的情感语音合成（TTS）以及 30 分钟音频专业级声音克隆。在 Artificial Analysis 独立基准评测中，Small Transcribe 3 以 2.1% 极低字错率登顶全球语音识别榜单季军，Realtime 转录单步延迟低至 500ms 以内，每分钟语音智能体调度成本低至 0.04 美元。

查看大图

10 月 20 日，Mistral 发布 Voxtral 3：语音转文字模型 Voxtral Small/Mini Transcribe 3、实时转写 Voxtral Mini Transcribe Realtime 3、语音合成 Voxtral Mini TTS 3（Voxtral Speech 3），以及基于 LiveKit 的语音 Agent SDK，把“听—思考调工具—说”串成一条流式管线，官方称每轮响应不到 1 秒。转写覆盖 50+ 语言并支持说话人分离和上下文偏置，TTS 覆盖 35+ 语言、50+ 方言，另有 30 分钟录音即可复刻音色的 Pro Voice。模型已通过 Mistral API（欧盟、美国、全球端点）上线，也可自部署。

查看大图

LiveKit 于 2026-09-26 在 GitHub 发布 Python 包 [email protected]（PyPI livekit-agents 1.8.3）：Google Gemini 3.8 Live 路径默认 tool_behavior=NON_BLOCKING，并在 text API 上以 parameters_json_schema 发送 FunctionTool schema；OpenAI 侧新增 GPTLiveModel.with_azure，Realtime inference client 迁入 agents core；STT 增加 AssemblyAI universal-3-6-pro 与 language_confidence，ElevenLabs realtime chunk duration 可配；语音栈修复并行工具取消 handoff、按 call_id 配对 tool output、fallback/stream adapter 原样转发帧，以及 LiveAvatar 打断与插件注册。同日 JS @livekit/[email protected] 强化 agent_turn 遥测与自适应打断。

查看大图