上海交大等团队提出 PISA 块稀疏注意力机制，彻底攻克长序列模型中块选择算法因全矩阵打分依然具有 O(N²) 二次方计算瓶颈的难题。通过自粗到细的金字塔 Top-K 逐层筛选与池化策略，将计算复杂度降至 O(N log N)，并开发出全流程不物化大得分矩阵的原生 Triton 算子，在保持常识推理性能的同时显著增强超长上下文检索效率。

核心要点速览 (Key Takeaways)

  • ✓攻克块选择二次方瓶颈：现有块稀疏注意力在筛选保留块时仍需对所有 Query-Block 对打分，计算量仍是 O(N²)；PISA 提出金字塔 Top-K 机制，将整体复杂度降至 O(N log N)。
  • ✓自粗到细多级路由：基于 Key 向量的多级池化构建 O(log N) 级层级金字塔，在每层利用 LogSumExp 快速锁定候选子集，逐层收敛至细粒度块。
  • ✓原生硬件融合 Triton 算子：为训练与推理全流程定制 Triton Kernel，在 GPU SRAM 内将分层路由与 LogSumExp 打分融合，全程无需显式物化 Query-Key 打分矩阵，显存占用与显存带宽显著下降。
🔗

相关资源与官方项目出处

免代理直达
💡 国内无需访问 Twitter，可直接访问上述项目官方资源与文档
🌐
ArXiv Preprint (2609.31093)
arxiv.org/abs/2609.31093
↗
📖
Hugging Face Daily Papers (PISA)
huggingface.co/papers/2609.31093
↗
🔬

深度技术解析与实战评估

核心背景与行业痛点 随着 Coding Agent 面对的代码工程体量不断扩大，长序列上下文（Long-Context）成为大语言模型的标配。然而，标准自注意力机制的计算与内存复杂度随序列长度 N 呈二次方增长（O(N²)）。现有的块稀疏注意力（Block Sparse Attention）虽能减少参与计算的块数量，但在决定保留哪些块的筛选阶段，传统的做法依然需要对所有 Query 与 Block 进行全量粗排打分，其块选择复杂度本质上依然是 O(N²)，在 128k/1M 级别超长上下文场景下依旧会造成严重的算力与延迟瓶颈。 ### 架构亮点与底层机制 针对上述痛点，上海交大 GAIR 实验室团队提出了 PISA（Pyramid Top-K Sparse Attention） 架构： 1. 金字塔分层粗到细筛选：通过对 Key 向量进行多尺度池化（Pooling），构建出 O(log N) 层的自粗至细层级树。在最顶层粗粒度级别利用有界的候选集快速执行 LogSumExp 打分，逐层向下缩小候选空间，直至锁定最相关的细粒度块； 2. 理论复杂度跃升：借助金字塔层级收敛，整体计算复杂度成功从二次方 O(N²) 压降至准线性 O(N log N)； 3. 硬件感知的原生 Triton 融合算子：开发了专门适配现代 GPU（如 NVIDIA Hopper / Blackwell 架构）的高性能 Triton Kernel，将分层金字塔路由与 LogSumExp 计算在片上 SRAM 中深度融合，全程无需在显存（HBM）中物化庞大的 Query-Key 权重矩阵，极大缓解了显存带宽瓶颈。 ### 权威 Benchmark 与实测跑分对比 在长序列语言建模与问答检索基准测试中，PISA 展现出优异的性价比： - 超长文本检索能力：在长文本 Needle In A Haystack（大海捞针）和真实长文本问答评测中，PISA 显著超越了已有的启发式块稀疏基线，召回准确率逼近甚至部分超越密集注意力基线； - 常识推理无损：在常规上下文常识推理基准测试中，PISA 与稠密 Attention 模型的表现完全对齐，未出现传统稀疏方法常见的泛化能力退化； - 吞吐与延迟：在 64K+ 序列长度下，预填充（Prefill）阶段的显存占用减少超过 50%，推理吞吐量提升约 2.3 倍。 ### 开发者实战落地与开箱指南 对于构建支持超大代码库检索的 Coding Agent 架构师，PISA 提供了极具前景的底层加速参考： - 算子集成：PISA 基于 Triton 编写，具备与 PyTorch 2.x 以及 FlashAttention 生态无缝衔接的能力； - 部署建议：在微调长上下文 Agent 模型时，可以在注意力层无损替换传统的 Dense 注意力模块； - 源码与预印本：完整论文已收录于 arXiv:2609.31093，相关算子与实验实现即将合并至开源社区生态中。