清华 NeurIPS 2026 重磅开源 TokenRouter：解耦三循环与延迟批处理，Token 级大模型路由吞吐暴增 64 倍

核心背景与行业痛点

随着大语言模型（LLM）推理成本在企业级生产系统中的急剧攀升，模型路由（LLM Routing）已成为降低 70% 以上 Serving 成本的关键技术。与粗粒度的‘按请求路由（Request-Level Routing）’不同，‘Token 级动态路由（Token-Level Routing）’允许一个请求在生成过程中随时在草稿模型与主力思考模型之间动态来回跳变。例如，在代码生成中，常见的样板语法由 7B 小模型秒级输出，遇到关键算法骨架与类型推断时交由 70B 大模型生成。然而，在现有架构下将 Token 级路由推向高并发生产时存在致命的三大工程瓶颈：

1. 步骤去同步化（Step Desynchronization）：不同模型的单步解码延迟差异巨大（如 8B 耗时 12ms，70B 耗时 55ms）。当请求在模型间频繁跳变时，会导致执行管线产生大量等待空泡；
2. 批处理准入延迟激增（Batch Admission Overhead）：现有的连续批处理（Continuous Batching）机制针对稳定自回归设计。跨模型流转的单 Token 频繁加入正在解码的 Batch 时，会引发极其高昂的 Prefill 抢占与 KV Cache 上下文重载；
3. 多模型编排开发复杂度高（Implementation Complexity）：在 vLLM、TGI 等框架中编写跨模型流水线需要开发者手工管理复杂的异步事件循环与分布式 RPC，极难维护。

架构亮点与底层机制

针对上述系统性难题，清华大学 NICS 实验室打造了专为 Token 级路由设计的高性能推理服务系统 TokenRouter（arXiv:2610.12242，开源代码 github.com/thu-nics/TokenRouter，已入选 NeurIPS 2026）：

1. 请求中心编程与模型中心执行分离（Request-Centric Programming / Model-Centric Execution）：开发者仅需以直观的单请求同步视图编写路由逻辑判断（如 if token_confidence < threshold: route_to(model_large)），TokenRouter 编译器自动将其解耦并映射至底层异构模型子服务器（Subservers）上的异步高性能执行管线；
2. 基于马尔可夫链的延迟批处理调度器（Delayed-Batching Scheduler）：为平衡单个 Token 准入延迟与整体 GPU 算力利用率，团队建立了离散时间马尔可夫链数学吞吐量模型，精确计算延迟批处理超参数的最优平衡点。子服务器按最优节拍合并准入请求，彻底抹平了高频跳变引发的计算抖动；
3. 解耦三循环架构与极速移交恢复（Decoupled Tri-Loop & Handoff-Resume）：将模型推理拆解为请求接收、Batch 组装与自回归解码三大完全解耦的独立循环。配合定制的零拷贝 KV Cache 跨进程/跨卡移交恢复机制，单次模型切换开销被压缩至微秒级。

权威 Benchmark 与实测跑分对比

在覆盖各类真实负载分布（如 Alpaca、ShareGPT、GSM8K 代码推理）与主流异构模型对（如 Llama-3-8B/70B、Qwen-2.5 系列）的大规模真实压测中：

1. 解码吞吐量提升 2.01x 至 64.15x：对比直接在原生 vLLM 多实例间通过 RPC 编排的基线方案，TokenRouter 在全负载区间实现了 2.01 倍至 64.15 倍的解码吞吐量暴增；
2. 端到端首字延迟（TTFT）与词间延迟（TPOT）大幅缩短：由于延迟批处理调度器消除了流水线空泡，高并发下的 P99 词间延迟降低 43.6% 以上，彻底根除了跨模型跳变时的卡顿顿挫感；
3. 零门槛兼容主流路由算法：系统全面原生支持 Speculative Decoding、Cascade Routing、Entropy-based Token Switching 等多种经典及前沿路由策略，开发者代码行数缩减 80% 以上。

开发者实战落地与开箱指南

TokenRouter 源码已在 GitHub（github.com/thu-nics/TokenRouter）开源，兼容主流 PyTorch 与 CUDA 环境。对于正在自建高并发大模型推理网关、Agent 混合执行集群、代码辅助智能体服务平台的工程架构师，TokenRouter 提供了一套开箱即用的杀手级底座。通过在集群中混合部署超大规模高精度模型与轻量高吞吐模型，不仅能够让企业推理算力账单降低 50%~70%，更能在千万级日调用场景下保障极高吞吐与超低时延。