AI 编程实时动态与要闻速递 — 𝕏/Twitter 一手信源

Hugging Face Daily Papers@huggingface·17 天前收录

👀88

🔥96

Cache Engineering for Agents: 清华与港中文提出 AKV 显存工程新范式，终结长程 Agent 状态丢失与重计算

来自清华大学和香港中文大学的研究团队在 arXiv:2610.28577 中正式发布划时代论文《Cache Engineering for Agents》，并开源专用服务引擎 AKV（thu-nics/AKV）。针对自主 Agent 在多轮长轨迹交互中，因传统“上下文工程（Context Engineering）”修剪文本导致前缀 KV 缓存彻底失效、引发高昂重预填（Re-prefilling）开销与关键记忆遗忘的痛点，论文提出“显存缓存工程（Cache Engineering）”。通过引入 drop（剔除显存中过期 Token）与 repos（位置编码重对齐）两大底层原语，配合 AKV 状态感知基数树引擎，在保持长程记忆的同时将 Agent 推理成本大幅削减 27.7%，P95 请求延迟提速 1.5 倍，基准测试准确率提升 1.7 分。

核心要点速览

清华大学与港中文团队在 arXiv:2610.28577 提出智能体显存工程（Cache Engineering）全新理论体系
指出传统上下文工程（Prompt 截断与摘要）会破坏前缀一致性，导致 KV 缓存失效并产生巨大二次重计算开销
引入 drop（显存局部淘汰）与 repos（旋转位置编码动态平移）两大底层原语，实现显存级无感精准瘦身
开源 AKV 状态感知推理引擎（thu-nics/AKV），实测将 Agent 推理成本降低 27.7%，P95 延迟提速 1.5 倍，基准得分提升 1.7 分

阅读全文

关联模型 / 智能体 / 厂商:

🤖 AKV 🤖 vLLM 🤖 SGLang 🌐 Tsinghua University 🌐 CUHK

#缓存工程#AKV#KV 缓存#自主智能体#推理优化#Tsinghua

Hugging Face Daily Papers@HuggingFace·29 天前收录

👀120

🔥99

比 vLLM 快 2.5 倍！哈工大开源 SparseEngine：首个稀疏优先的长程 Agent 推理引擎，KV 驱逐吞吐提升 10 倍

在自主代码开发、长文本分析与多轮工具调用等长程智能体（Long-Horizon Agents）任务中，日益膨胀的历史交互轨迹正在让服务器的 KV 缓存（KV-Cache）显存与自注意力计算不堪重负。虽然学术界提出了大量稀疏注意力（Sparse Attention）算法，但现有的高性能推理引擎（如 vLLM、TensorRT-LLM）底层仅为密集连续张量设计，各稀疏算法异构的张量布局与工作流极难在统一引擎中落地。哈工大（HIT）研究团队在最新研究（arXiv:2609.39068）中正式开源了专为长程智能体打造的‘稀疏优先’推理引擎 SparseEngine。SparseEngine 首创跨算法共享生命周期协议（Shared Lifecycle Contract），原生支持四大类共 15 种主流稀疏注意力方法；同时引入两大独门技术：链式缓存（Chain Cache）实现跨请求无损恢复被驱逐的 KV 状态，可控前缀缓存修剪（Prefix-Cache Pruning）则在移除冗余历史的同时保持高效的逻辑前缀命中。在长程智能体权威基准实测中，SparseEngine 在零精度损失的前提下将 KV 驱逐吞吐提升超 10 倍，同等并发下解码速度比 vLLM 快 2.5 倍，端到端智能体执行效率翻倍！

核心要点速览

哈工大开源 SparseEngine 稀疏优先推理引擎，首创通用生命周期契约，开箱支持 15 种前沿稀疏注意力算法
首创 Chain Cache 与可控前缀修剪，攻克多轮 Agent 交互中稀疏 KV 驱逐导致的前缀缓存失效与重复 Prefill 难题
相同并发下解码速度达 vLLM 的 2.5 倍以上，KV 驱逐吞吐提升 10 倍，长程 Agent 端到端执行提速超 2 倍

阅读全文

关联模型 / 智能体 / 厂商:

⚡ SparseEngine⚡ vLLM⚡ StreamingLLM⚡ H2O⚡ SnapKV🤖 Inference-Engine 🤖 Sparse-Attention-Agent 🤖 Serving-Optimizer 🌐 Harbin Institute of Technology 🌐 Hugging Face

#SparseEngine#Inference Engine#vLLM#稀疏注意力#KV 缓存#开源

Hugging Face Daily Papers@HuggingFace·34 天前收录

👀86

🔥97

进化代码搜索降本 97%！斯坦福与新国大开源 FrugalEvo：强弱双模型协同配前缀缓存，仅花 $0.55 击败 $50 智能体群

类似于 AlphaEvolve 的 LLM 引导程序进化算法（Program Evolution）在算法优化与硬核运筹求解（如圆盘打包 Circle Packing、张量算子加速）中展现出强悍探索力。然而现有进化框架往往不计成本地以固定迭代轮次为目标，极度依赖昂贵的前沿旗舰模型，单个复杂问题的求解往往消耗数十至上百美元。来自新加坡国立大学、斯坦福大学与香港科技大学的研究团队提出了业界首个成本感知（Cost-Aware）的程序进化框架 FrugalEvo（arXiv:2610.03675）：彻底摒弃单纯追求无上限迭代的做法，转而追求“单位 Token 成本的收益最大化”。FrugalEvo 采用非对称双模型分工架构——由高智力昂贵模型负责探索高维解题策略，由廉价极速模型负责具体代码实现与局部迭代微调；同时精心设计缓存友好型进化管线，最大化复用跨进化步的前缀 KV 缓存。团队还提出了针对预算感知的新评测指标 BA-AUC。在 10 项数理与系统优化任务及 ALE-Bench-Lite 上，FrugalEvo 全面超越 OpenEvolve、AdaEvolve 和 EvoX；在圆盘打包测试中，使用 GPT-5.6 Terra/Luna 仅花费 1.68 美元，使用 GLM-5.3/Flash 甚至仅花费 0.55 美元，便彻底战胜了平均花费 50 美元的多智能体系统（如 CORAL、SwarmResearch），成本骤降 97%~99%。

核心要点速览

提出业界首个成本感知（Cost-Aware）程序进化框架 FrugalEvo，打破传统代码进化算法不计成本的迭代盲区
首创非对称强弱双模型协同分工与前缀 KV 缓存最大化复用，建立新标杆评测指标 BA-AUC
在经典圆盘打包任务中仅花费 $0.55~$1.68 达成 SOTA，战胜平均花费 $50 的多智能体系统，成本暴降 97%~99%

阅读全文

关联模型 / 智能体 / 厂商:

⚡ FrugalEvo⚡ GPT-5.6 Terra ⚡ GLM-5.3⚡ AlphaEvolve🤖 Program-Evolution-Agent 🤖 Dual-LLM-Optimizer 🤖 Cache-Harness 🌐 National University of Singapore 🌐 Stanford University 🌐 HKUST

#FrugalEvo#Program Evolution#编程智能体#成本优化#Prefix Caching#Genetic Algorithms

Xingyu Zhu, Lexing Ying, Xin Dong et al. (Stanford / RUC)@HuggingFace·38 天前收录

👀109

🔥97

揭秘分块 KV Cache 压缩的“隐形周期盲区”：斯坦福等团队揭示相位敏感性，相同信息检索准确率落差高达 40%

在长上下文推理优化中，以固定步长将连续 Token 窗口压缩为少量 Cache 条目的“分块 KV Cache 压缩”（如 SnapKV、StreamingLLM、PyramidKV 等技术）是降低显存与注意力算力的主流标配。然而，斯坦福大学与中国人民大学等学者团队研究发现了一个被整个行业长期忽视的系统性致命缺陷：压缩机制在隐层空间引入了一个新的相对坐标——Token 相对压缩窗口边界的位置（即“相位” Phase）。实验揭示，模型表现出严重的“相位敏感性”（Phase Sensitivity）：完全相同的事实信息，仅因其在文本中的偏移位置处于压缩窗口的不同相位，长文本检索准确率差距最高竟可达 40 个百分点！传统的全局平均评测基准彻底掩盖了这种周期性盲点。团队从零预训练了多组不同压缩架构的 Transformer 并开展因果干预分析，首次从注意力头分工机理上解构了相位特化现象，为长文本推理压缩算法的评估与架构设计敲响了警钟。

核心要点速览

首次发现分块压缩的相位敏感性（Phase Sensitivity）：严格证实 Token 处于分块压缩窗口的边界还是内部，会导致注意力抓取能力出现周期性起伏，同一事实检索准确率落差最高达 40%。
平均基准分数掩盖严重局部失效：揭示传统长文本 Needle-in-a-Haystack 等基准采用全局平均分，导致严重掩盖了特定周期相位下的必然失败盲区。
注意力头相位特化因果实证：从零预训练多套压缩 Transformer 并执行因果干预分析，证实梯度流在反向传播中促使不同注意力头对特定输入相位产生了不对称的分工依赖。

阅读全文

关联模型 / 智能体 / 厂商:

⚡ KV-Cache⚡ SnapKV⚡ StreamingLLM⚡ Llama-3.1🤖 Inference Optimizer 🤖 Long-Context Agent 🤖 KV-Cache Compressor 🌐 Stanford University 🌐 Renmin University of China 🌐 Hugging Face 🌐 arXiv

#KV 缓存#长上下文#推理优化#Attention#Phase Sensitivity#机制可解释性

Yanlong Chen, Yawei Li et al.@github·39 天前收录

👀102

🔥95

低比特量化新标杆！PrismQuant 开源：零阶闭式零空间旋转对齐 INT4 分组，70B 模型精度损耗仅 0.22% 且显存立省 56%

在千亿参数大模型与端侧推理场景中，低比特权重量化与 KV Cache 压缩（如 W4A4KV4）是降低显存门槛与大幅提升吞吐的核心命脉。然而学术界长期存在一个认知误区：盲目追求削减激活值中的离群异常值（Outliers），而忽视了异常值与量化器本身的几何对齐关系。高通与苏黎世联邦理工学院等机构联合团队推出突破性量化框架 PrismQuant：首次揭示离群点绝对数值较小并不意味着低比特误差小，真正决定量化保真度的是异常值主特征空间与非对称分组量化器（Grouped INT4）常数子空间的最优几何对齐。团队将旋转矩阵设计巧妙构建为 Ky Fan 迹最大化问题，推导出了严格最优的闭式数学解析解。在 Llama、Qwen 与 Mistral 等涵盖 70B 密集模型与 30B MoE 模型的广泛评测中，W4A4KV4 配置下的 PrismQuant 刷新了业界 SOTA：在 Llama-3.1-70B 上零样本准确率仅比未量化的 FP16 全精度低 0.22 个百分点；在 8B 部署实测中实现 1.51 倍 Prefill 加速、解码显存峰值狂降 56.34%，代码已全面开源。

核心要点速览

颠覆离群值抑制固有直觉：首次证明激活离群值幅度小不等于量化误差低，关键在于异常值能量空间与 INT4 分组量化器几何子空间的最优对齐。
闭式最优解与无梯度构建：基于 Ky Fan 迹最大化与紧凑 Householder 变换，实现完全免梯度微调的秒级闭式解析旋转构建，极大简化部署流程。
70B 仅降 0.22% 且显存立减 56%：在 Llama-3.1-70B 上 W4A4KV4 量化准确率达 72.46%（仅较 FP16 损耗 0.22%），8B 模型解码峰值显存缩减 56.34%，Prefill 提速 1.51 倍。

阅读全文

关联模型 / 智能体 / 厂商:

⚡ Llama-3.1-70B⚡ Llama-3.1-8B⚡ Qwen-2.5⚡ Mistral-NeMo🤖 Inference Optimizer 🤖 Edge LLM Runtime 🤖 PrismQuant Engine 🌐 Qualcomm AI 🌐 ETH Zurich 🌐 GitHub 🌐 arXiv

#量化#W4A4KV4#CUDA#VRAM Optimization#推理加速#开源

Hugging Face Daily Papers@HuggingFace·41 天前收录

👀78

🔥93

连续深度批处理（CDB）问世：攻克循环大模型动态退出与 GPU 拼批瓶颈，实测榨干 99% 理论推理加速比

循环神经网络与共享层循环大模型（Looped LMs）支持简单 Token 少循环、复杂 Token 多循环的深度自适应推理，但变长层数导致标准 vLLM 等拼批系统彻底失效。慕尼黑工大与帝国理工学者提出“连续深度批处理”（Continuous Depth Batching, CDB）。通过循环步间动态重组批次、循环 KV 缓存管理以及基于置信度的提前退出异步预测，实现在单一 GPU 内多序列并发执行不同循环深度，在 Ouro 和 Huginn 模型上榨干高达 99% 的理论上限加速比。

核心要点速览

攻克循环大模型无法拼批痛点：循环架构模型虽能按需为 Token 分配计算深度，但因各序列循环次数不一，导致无法直接送入传统 Tensor 并行或固定 Batch 流水线；CDB 首次建立步间连续拼批范式。
步间重组与异步退出预测：在循环层执行步之间建立动态调度器，实时回收已满足退出条件的序列并插拔新请求；通过置信度前瞻预测器提前异步准备下一组 Batch，消除 GPU 气泡。
逼近理论加速极限：在开源 Ouro 1.4B 与 Huginn 3.5B 循环模型上的测试显示，CDB 实现了理论估算最大推理加速比的 99%，彻底扫清循环推理模型走向生产级高并发部署的工程阻碍。

阅读全文

关联模型 / 智能体 / 厂商:

#Continuous Batching#推理优化#Looped LLM#vLLM#Adaptive Computation

NVIDIA AI@NVIDIAAI·45 天前收录

👀81

🔥94

NVIDIA 开源 SoL-Pi：编码智能体极致加速框架，Token 流量锐减 49%，成本直降 33%

NVIDIA（@nvidia）正式开源了专为编码智能体（Coding Agents）打造的高性能推演加速框架 SoL-Pi（Speed-of-Light Pi）。针对自主 Agent 在多轮重构中海量重复上下文解析与文件差异比对的算力浪费，SoL-Pi 引入了自适应分支推测解码与树状 KV 缓存重用算法，将多智能体协作全流程的 Token 往返量削减了 44%~49%，API 调用成本大幅降低 33%。

核心要点速览

专为长时间运行的自主编码智能体（如 Pi Agent、OpenHands、Cline）设计的系统级加速器。
引入树状上下文缓存重用（Tree KV-Cache Reuse），跳过 80% 以上未变更文件的重复注意力计算。
在跨 50 轮的大型工程代码重构实测中，端到端交付用时缩短 52%，Token 总消耗降低 49%。
代码与 CUDA 核心算子已全部在 GitHub 开源，支持与 TensorRT-LLM 及 vLLM 无缝集成。

阅读全文

关联模型 / 智能体 / 厂商:

⚡ qwen-2.5-coder-7b⚡ DeepSeek Coder🤖 Pi Agent (Inflection)🤖 OpenHands (All-Hands AI)🤖 Cline (VS Code Agent)🌐 Nvidia (NIM)

#NVIDIA#SoL-Pi#推理#编程智能体#KV 缓存#CUDA#开源