腾讯混元开源同声传译模型 Hy-SimulMT：中英双向实时语音翻译，延迟约 3 秒并支持实时音色克隆

核心背景与行业痛点

同声传译的难点不只是翻译准确，而是要在说话人还没讲完时就开口：等得越久越准，但听众越被动。此前开源方案（如 SeamlessStreaming）在中英场景质量和延迟都偏弱，商业 API 又难以私有部署。腾讯混元这次把整套模型、推理服务和训练工具一起开源，面向会议、演讲、访谈等实时场景。

架构亮点与底层机制

Hy-SimulMT 为 30B-A3B MoE 模型（约 3B 激活），持续接收音频流、增量生成译文文本与语音；为控制延迟采用"先说再修正"的策略。提供纯译文版和 Interleave 版（同时输出原文和译文），各有 BF16、FP8、GGUF 权重，模型卡标注 Apache-2.0。实时音色克隆依赖外接 TTS 服务。

权威 Benchmark 与实测跑分对比

以下均为官方/厂商口径：RealSI 长音频评测 StreamLAAL 约 3 秒，为对比系统最低；短音频 FLEURS 90.3、CoVoST2 75.5、ACL6060 81.2、RealSI-Sentence 84.7（表中最高）。同表 Gemini3.5-LiveTranslate 在 FLEURS（92.4）与 ACL6060（82.6）领先，Qwen3.8-LiveTranslate 在 CoVoST2（82.1）领先。与 6 名 CATTI 口译员的对比仅基于 18 段音频，官方明确不代表全面评估。

开发者实战落地与开箱指南

克隆 GitHub 仓库 后进入 SimulInfer，执行 bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave 即可拉起 vLLM（需 >=0.31）与 8080 端口的 Web/API，支持文件上传和 WebSocket 实时麦克风。权重见 Hugging Face；GGUF 的 llama.cpp 支持尚未合入上游，建议等待正式版本。需要继续训练可用 SimulTrain。