清华 NeurIPS 2026 重磅开源 TokenRouter：解耦三循环与延迟批处理，Token 级大模型路由吞吐暴增 64 倍
随着混合专家（MoE）与大小模型协同推理技术的爆发，Token 级动态模型路由（Token-Level Routing）成为平衡生成质量与算力成本的最优解法：让小模型快速生成易词，遇到关键决策或难词时动态无缝路由至大模型。然而，现有的 vLLM、TGI 等大模型推理服务引擎均基于单模型运行设计，在面对跨模型的 Token 级频繁流转时面临严重的‘步骤去同步化（Step Desynchronization）’、批处理准入延迟激增以及异构集群开发极其繁琐的工程瓶颈。来自清华大学电子工程系 NICS 实验室的研究团队在 NeurIPS 2026 接收论文（arXiv:2610.12242）中正式开源了高性能服务系统 TokenRouter（代码：github.com/thu-nics/TokenRouter）。TokenRouter 提出了‘以请求为中心编程、以模型为中心执行’的创新范式，开发者仅需以单请求视角编写简洁的路由逻辑，底层系统则负责将其解耦为异步协作流。系统引入了基于离散时间马尔可夫链数学建模的‘延迟批处理调度器（Delayed-Batching Scheduler）’，配合‘解耦三循环（Decoupled Tri-Loop）’与毫秒级移交恢复机制（Handoff-Resume），在多种主流路由算法与异构模型组合上实现了比现有前沿系统高出 2.01 倍至 64.15 倍的解码吞吐量提升，官方代码现已开源。
核心要点速览
- 清华大学 NeurIPS 2026 开源 TokenRouter，专为 Token 级大模型动态路由打造的高性能服务架构
- 首创以请求为中心编程与延迟批处理调度器，在多种负载下实现 2.01 至 64.15 倍解码吞吐量暴增
- 解耦三循环与极速移交恢复机制将 P99 词间延迟降低 43.6%，助力企业推理算力成本缩减 50%~70%
关联模型 / 智能体 / 厂商:
⚡ TokenRouter⚡ Llama-3⚡ Qwen-2.5⚡ vLLM🤖 TokenRouter-Scheduler🤖 Subserver-Worker🌐 Tsinghua University🌐 Hugging Face🌐 NeurIPS
