编码智能体吞吐飙升 4.7 倍!KAIST 开源 AgSpec 检索推测解码:重构会话语料索引,全面超越 EAGLE-3
编码智能体在处理大型代码仓库与多轮排错时,会高频反复复述相似的代码片段、错误日志及前序修改尝试,这使得基于检索的推测解码(Retrieval-based Speculative Decoding, SD)具备巨大的加速潜力。然而,现有通用检索推测解码器在真实 Agent 流水线中严重水土不服:智能体输出格式(如带行号标注、Diff 补丁及转义代码块)与本地原始磁盘文件存在巨大表征鸿沟,且固定推测草稿长度无法自适应多智能体协作中的轮次漂移。韩国科学技术院(KAIST)团队推出了面向编码智能体定制的推测解码框架 AgSpec。该框架在会话级、工作区级与全局语料库中建立与智能体发射格式完全对齐的动态索引,并结合离线性能剖析与在线验证反馈动态调整推测草稿长度。在多智能体代码仓库级评测中,AgSpec 吞吐加速高达 4.76 倍,且在单卡低延迟场景下全面碾压 EAGLE-3。
核心要点速览
- 首创面向 Coding Agent 流水线的检索推测解码框架 AgSpec,彻底解决代码发射格式错位与草稿长度漂移痛点
- 在长程多智能体代码仓库评测中,推理吞吐加速比在 BS=1 时达 4.37 倍,在 BS=16 时攀升至 4.76 倍
- 在零额外模型显存占用的前提下,Token 接受率在大多数核心场景下全面击败主流模型草稿方案 EAGLE-3
