Xinference v3.5.0 正式发布：全栈支持 YuE2 音乐生成、MinerU2.5 文档解析与 Apple MLX 语音生态

核心背景与行业痛点 随着大模型应用由单一文本对话向多模态全景（语音合成、全曲音乐生成、长篇文档版面理解、具身物理世界模型）演进，企业级私有化推理部署面临前所未有的异构架构痛点：不同模态模型通常依赖完全冲突的 Python 依赖库与推理引擎，维护多套独立微服务导致显存与算力碎片化严重。而在苹果 Mac 等边缘统一内存设备上，传统基于 PyTorch 的通用推理缺乏针对 Metal 与 MLX 的深度优化，音频与语音合成延迟难以满足实时人机交互需求。 ### 架构亮点与底层机制 Xinference v3.5.0 针对多模态与异构硬件进行了全方位拓展与工程收敛： 1. 端到端音频与音乐生成管线：首发原生支持兼具伴奏编曲与人声演唱的开源音乐大模型 YuE2，并集成超轻量低延迟文本转语音模型 AuK 与 AuK-Flash，结合已有的 CosyVoice 和 ChatTTS，构建了业界最完备的开源语音服务矩阵； 2. Apple MLX 边缘硬件直通加速：深度重构了针对 macOS Apple Silicon 的推理后端，为当前广受欢迎的 FishAudio-S2-Pro、Irodori TTS Small 以及 Breeze TTS 2 实现纯 MLX 计算图支持，将统一内存带宽压榨到极致； 3. 多模态与专业模型一键拉起：集成了在复杂学术论文、密集表格与数学公式提取中表现卓越的 MinerU2.5 模型，以及用于具身智能模拟与场景预测的 LingBot-World-V2 世界模型； 4. 分布式 Actor 关联元数据穿透：针对 Multi-Agent 复杂长链路调用场景，Xinference 在内部 Ray / Actor 消息总线中实现了 correlation_id 与调用元数据自动透传，配合新增的选择性请求日志记录（Opt-in Logging），彻底消除分布式推理调试黑盒。 ### 权威 Benchmark 与实测跑分对比 Xinference 官方基准在多种计算平台验证了性能提升： - Mac M4 Max 语音推理加速：在 128GB 统一内存的 Mac 平台上运行 FishAudio-S2-Pro，启用 MLX 原生后端后，首包音频生成延迟（Time-to-First-Audio, TTFA）从原先 PyTorch MPS 模式的 480ms 骤降至 112ms，吞吐速率提升 3.2 倍，完全满足无感知实时语音交互； - MinerU2.5 密集排版吞吐：在单张 NVIDIA RTX 4090 上，MinerU2.5 对扫描版双栏学术 PDF 的解析吞吐达到每秒 18.4 页，表格与 LaTeX 公式提取正确率达到 97.6%； - 分布式调度通信开销：在 8 节点分布式 Agent 推理压力测试中，元数据穿透带来的网络通信额外开销低于 0.05%，同时协助定位慢请求与跨 Actor 异常的平均排障时间缩短 65%。 ### 开发者实战落地与开箱指南 开发者可通过 PyPI 或 Docker 镜像秒级启动： ``bash pip install "xinference[all]>=3.5.0" xinference-local --host 0.0.0.0 --port 9997 ` 在 Web 控制台（http://localhost:9997）的“Launch Model”界面中，可直接在 Audio 分类下一键下载运行 YuE2 或 FishAudio-S2-Pro（Mac 平台将自动启用 MLX 模式）；在 Document AI 下直接拉起 MinerU2.5。所有模型均自动暴露标准兼容 OpenAI 规范的 REST API。完整发版说明见 GitHub 仓库 https://github.com/xorbitsai/inference/releases/tag/v3.5.0`。