Together AI 11 月 4 日发布 Together Compiler（TKCC），用一群 AI 智能体配合常驻推理引擎，按真实流量、模型和硬件持续重写推理内核，并提出「多态推理」（Polymorphic Inference）思路。官方称 24 小时内在 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 等模型上最高提升 2.6 倍 TPS，客户负载最高快 50%，目前已在生产中服务每天数万亿 token。
核心要点速览
- ✓Together Compiler 把推理优化从传统编译问题改成「智能体搜索」问题：智能体提出内核改动，常驻引擎验证速度和正确性，只有通过的改动才上线
- ✓官方称 24 小时内在 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 上最高 2.6 倍 TPS，客户负载最高快 50%
- ✓InferenceX 低延迟 batch size 1 设置下：MiniMax M3.1-Flash 1111 TPS、DeepSeek v4.1-Flash 1205 TPS（公司自报），SemiAnalysis 称已复核其中一项结果
- ✓常驻引擎热加载候选前向计算，上线时间 9 秒（对比重启引擎 467 秒），实验吞吐比基线智能体优化系统高 252 倍
- ✓已在 Together 生产环境服务每天数万亿 token，Together 已有 40 多个模型由智能体优化
开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
背景与行业痛点
开源模型发布越来越快：Together 引用 OpenRouter 数据称，80% 的流量流向近三个月内发布的模型；流量形态和硬件也在快速变化，手工调优每个部署要几天到几周。Together 把这种局面称为「多态推理」。
架构亮点与底层机制
TKCC 以流量形态、模型和硬件为输入，由一群智能体生成内核优化。核心是「常驻引擎」：只启动一次，候选前向计算可热加载；每个改动都要和原版引擎对比速度与正确性，通过才进生产，流量变化时自动重新优化。
权威 Benchmark 与实测跑分对比
官方称 24 小时内在 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 上最高 2.6 倍 TPS；InferenceX 低延迟下 MiniMax M3.1-Flash 1111 TPS、DeepSeek v4.1-Flash 1205 TPS；上线时间 9 秒对比 467 秒。均为公司自报，SemiAnalysis 称已复核其中一项结果。
开发者实战落地与开箱指南
TKCC 是 Together 平台内部能力，不是开源工具。使用 Together 推理端点的开发者无需改代码即可受益；专属部署团队可查看 Polymorphic Inference 页面。
即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察