连续深度批处理（CDB）问世：攻克循环大模型动态退出与 GPU 拼批瓶颈，实测榨干 99% 理论推理加速比

核心背景与行业痛点 随着模型参数与推理成本激增，“按需思考”（Compute-Optimal Thinking）成为下一代架构的关键方向。循环大语言模型（Looped Language Models，如权值共享递归 Transformer）凭借其原生支持“深度自适应推理”（Depth-Adaptive Inference）备受关注：简单容易的 Token 仅需通过 2~4 次循环层即可精准输出，而遭遇复杂代码推理时则可递归深潜 16~32 次循环。然而，这一理论优势在工业落地中遭遇了毁灭性障碍：不同序列所需的循环次数完全不一致，传统的静态批处理和 vLLM 连续批处理（Continuous Batching）无法统一单次 Forward 步幅，要么被迫大量补零对齐（Padding Waste），要么陷入单请求串行运行，吞吐量暴跌。 ### 架构亮点与底层机制 来自慕尼黑工大（TUM）与帝国理工学院的研究团队提出了 连续深度批处理（Continuous Depth Batching, CDB）： 1. 步间批次动态重构（Inter-Loop Batching）：CDB 将批处理的重排时机从“整个 Token 生成结束后”下放至“每一次循环层执行完毕之后”。每一轮循环结束，调度器瞬间检测已达到退出阈值的 Token，将其剔除并将处于相同循环轮次的其他活跃 Token 重新规整打包； 2. 循环 KV-Cache 管理器：专门设计了适配层内多次迭代的轻量循环 KV 缓存指针机制，避免多轮展开导致的显存爆炸与碎片化； 3. 异步前瞻退出预测（Asynchronous Exit Prediction）：利用浅层隐藏状态的范数与熵快速预估后续 Token 是否即将终止循环，提前在一个步长前完成下游 Batch 预构建，消除 GPU 核心在重排时的空转气泡。 ### 权威 Benchmark 与实测跑分对比 在两款经典开源循环模型架构 Ouro 1.4B 与 Huginn 3.5B 上，CDB 展现出极致的系统级吞吐能力： - 理论加速比转化率：在各种长短序列混合的高并发评测中，CDB 转化了理论上最高估计加速比的 99%，证明其几乎完全消除了动态深度带来的调度损耗； - 全循环架构的最佳适配：实验揭示完全循环（Fully Looped）的模型最具自适应收益；若模型外围存在庞大的非共享层（如巨大的 Embedding 和 LM Head），调度开销会略有增加； - 并发吞吐提升：相较于朴素填充方案，高负载下的真实服务吞吐量提升了 2.8 倍至 3.6 倍，显存利用率维持在 94% 以上。 ### 开发者实战落地与开箱指南 - 预印本研究：详见 arXiv:2608.09444； - 架构启示：对于设计下一代思考型推理 Agent 的底层系统工程师，CDB 证明了“无需牺牲并发吞吐即可享受动态递归计算的红利”； - 服务引擎对接：团队目前正在将 CDB 核心调度算子整理为独立模块，计划向 vLLM 与 SGLang 社区提交 PR，为未来的循环深度自适应模型提供开箱即用的 Serving 支持。