Together AI 发布 Together Compiler:智能体持续优化线上推理,最高提速 2.6 倍
Together AI 11 月 4 日发布 Together Compiler(TKCC),用一群 AI 智能体配合常驻推理引擎,按真实流量、模型和硬件持续重写推理内核,并提出「多态推理」(Polymorphic Inference)思路。官方称 24 小时内在 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 等模型上最高提升 2.6 倍 TPS,客户负载最高快 50%,目前已在生产中服务每天数万亿 token。
核心要点速览
- Together Compiler 把推理优化从传统编译问题改成「智能体搜索」问题:智能体提出内核改动,常驻引擎验证速度和正确性,只有通过的改动才上线
- 官方称 24 小时内在 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 上最高 2.6 倍 TPS,客户负载最高快 50%
- InferenceX 低延迟 batch size 1 设置下:MiniMax M3.1-Flash 1111 TPS、DeepSeek v4.1-Flash 1205 TPS(公司自报),SemiAnalysis 称已复核其中一项结果
- 常驻引擎热加载候选前向计算,上线时间 9 秒(对比重启引擎 467 秒),实验吞吐比基线智能体优化系统高 252 倍
- 已在 Together 生产环境服务每天数万亿 token,Together 已有 40 多个模型由智能体优化








