工具生态·48 天前

👀45浏览

🔥84影响力指数

Salesforce：Random Attention 随机逐头驱逐 KV 缓存，vLLM 吞吐最高提升 43%

HuggingPapers 转发 Salesforce AI Research 的 Random Attention：在保留 prompt 的前提下，对每个注意力头均匀随机驱逐 KV token，在推理任务上可与可学习驱逐器打平，同时在 vLLM 上带来约 32%–43% 的更高 serving 吞吐。对长上下文编码与 agent 推理部署，这是一条几乎零训练开销的缓存压缩路径。

核心要点速览

✓方法：保留 prompt，按注意力头均匀随机驱逐 KV token，无需评分网络。
✓效果：推理任务上对齐可学习驱逐器，vLLM serving 吞吐约 +32%–43%。
✓影响：长上下文编码/agent 部署可用几乎零训练开销的缓存压缩。

⚡

开发者 3 秒速决决策指标

一眼结论

🏆 权威跑分段位榜单

效果：推理任务上对齐可学习驱逐器，vLLM serving 吞吐约 +32%–43%。

Random Attention · KV 缓存 · Salesforce AI Research

配置 IDE 专属规则↗

🧭

本地显存不够？先比较云端 API 与自部署的实际成本

40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟

⚔️ 模型战力比拼→💰 打开云端算费器↗

实战指南准备好将技术转化为生产力？

即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

⚔️ 开始双模型比拼→💳 查看可用套餐↗

接着读llm-d 1.0 发布：Red Hat、IBM、Google 主导的 Kubernetes 原生开源分布式推理栈进入生产可用，按厂商口径自托管 3,000 个编码 Agent 比商用 API 便宜 5–10 倍

立即阅读→

说明：本文由 AICoder 编辑部借助 AI 工具整理撰写，依据文中注明的官方及媒体来源，并按人工制定的采编标准核对事实与数字；厂商自报的数据已标明出处。

🧭

AI 编程实战与选型生态

联动天梯榜跑分、独家套餐赠金与 IDE 定制规则

Cursor / Claude Code 规则

→

📰

延伸精选与接着阅读

查看全部快讯→

下一篇 ➔

下一篇精选快讯

llm-d 1.0 发布：Red Hat、IBM、Google 主导的 Kubernetes 原生开源分布式推理栈进入生产可用，按厂商口径自托管 3,000 个编码 Agent 比商用 API 便宜 5–10 倍

立即阅读→

工具生态5 天前

vLLM v0.32.0 发布：814 次提交，内置 /v1/systemone 结构化决策接口，NVFP4 低精度 KV 覆盖更多 GPU，多 API worker 短请求吞吐提升 43–85%

vLLM 于 10 月 18 日发布 v0.32.0，363 位贡献者（121 位新人）提交 814 次。重点包括默认提供的 POST /v1/systemone 结构化决策接口与通用 hf 工具/推理解析器；NVFP4 KV 缓存扩展到 SM8x/SM90/SM12x，GLM-5.x 在 SM100 默认 FP8 KV；Model Runner V2 新增 GPU n-gram 投机与 Elastic EP，并成为 ROCm 默认；修复 3 个安全公告并收紧 CORS 默认值，同时放弃 Python 3.10。

模型17 天前

80G 单卡跑 450 万超长上下文！TII 提出 Periscope：免训练网格分解算法，KV 缓存从 296GB 暴降至显存极值

随着大模型在代码库全仓审计、百万字法律卷宗与长篇专著推理中的需求日益迫切，模型面临注意力机制二次方显存爆炸、上下文窗口硬上限以及长文本准确率中途塌陷（Lost-in-the-Middle）的严峻制约。阿联酋阿布扎比先进技术研究机构（TII）提出了一种彻底颠覆传统二次方长推理范式的免训练推理算法 Periscope（arXiv:2610.04047）。Periscope 敏锐地洞察到长文本决策本质上是在有限候选项集上定位关键证据，因此将长度为 N 的输入切块并排列在 K x K 的二维网格上（K 为根号 N 向上取整）。无需任何额外训练，算法直接让冻结的基座模型分别对 K 个连续局部切片与 K 个贯穿全文的步长跨度进行双向探针探测，以单 Token 的对数几率评分瞬间构建全文证据图谱（Evidence Map），以仅需对数级前向计算精确锁定核心证据块。在这一架构下，原本需要 296GB KV 缓存的 450 万 Token 超长上下文，仅需单张 80GB GPU 即可完成极速推演；在 InfiniteBench 上以超出全窗口基线 5 个百分点的优异战绩刷新纪录。

模型17 天前

Transformer 底层架构巨变！The Extender 提出对数结构架构：注意力持久显存骤降 104 倍，长文本全面超越 MHA

标准 Transformer 架构长久以来依赖残差流（Residual Stream h）作为层间信息流转的单一叠加通道，导致各注意力层为了独立解耦深层语义，必须各自投影并持久化保存极其庞大的键值缓存（KV Cache），持久显存开销随层数与隐藏层维度以 2 * L * d_model 线性膨胀，严重制约了端侧推理与百万 Token 超长上下文扩展。研究学者提出了颠覆性的对数结构 Transformer 架构 The Extender（arXiv:2609.32759）：在传统的残差叠加流 h 之外，额外开辟了一条极度轻量的层间拼接通道（Concatenation Channel x）。每一层仅向残差流输出正常更新 delta_l，同时向拼接通道追加一个尺寸极小的新增扩展向量 epsilon_l（例如 |epsilon_l| = 32）。最为关键的创新在于：FFN 与 Query 投影继续读取承载高维融合语义的 h，而各层的 Key/Value 投影则完全且唯一地读取拼接通道 x！这一重构使得持久注意力显存占用从 2 * L * d_model 暴降至 sum |epsilon_l|。在 924M 参数、隐藏维度 1664 的模型实测中，The Extender 将注意力持久显存占用水准断崖式削减了 104 倍，不仅在短文本 CORE 基准上与标准 Transformer 表现持平，在 RULER 超长上下文严苛测试中更是全面反超标准 MHA，且模型越宽省存效益越呈几何级放大。

🔥

热点快讯风向标

TOP 5

近 14 天全网开发者深度交互与阅读热度

探索全部 1,200+ 条快讯雷达→

←返回快讯列表

讨论与评论

登录后即可参与深度讨论

与广大 AI 开发者、工程师交流评测心得与前沿洞察

暂无评论，快来发表你的第一条真知灼见吧！