零训练注意力提速 4.36 倍！新加坡国大 Velox 视锥空间记忆加速视频世界模型，南开 DeltaStreamer 与理大 CoWorld 刷新流式推理

核心背景与行业痛点

随着视频世界模型（Video World Models, VWMs）与流式视频智能体成为自动驾驶、游戏仿真与具身推理的核心引擎，系统在长时序交互中暴露出三大瓶颈：第一，分块自回归视频扩散模型（Chunked Video Diffusion）为了保持长程视觉一致性，必须将历史视频块保存在不断膨胀的 KV 缓存中，导致生成到第几十个视频块时注意力计算延迟呈平方级恶化；第二，流式视频理解系统在未知未来提问内容时对历史帧进行有损压缩，导致关键事件状态转移丢失且无法回溯核查；第三，现有的视觉语言模型（VLM）调用视频世界模型进行“视觉想象（Visual Imagination）”时依赖写死的固定流水线，且缺乏评测世界模型在镜头多次离开并重返同一场景后动态状态一致性的权威基准。

架构亮点与底层机制

今日发布的四项代表性工作从三维几何注意力路由、回放式流媒体记忆、自演化世界模型 Harness 与世界记忆基准四个维度构建了闭环解决方案：

• 新加坡国立大学 Velox：免训练 3D 视锥切片（Frustum Slab）注意力路由器（arXiv:2610.22311）：利用流式几何将历史视频块表示为带有深度区间的相机视锥体切片（Camera Frustum Slabs），并通过近期优先多重扭曲（Recency-Priority Multiwarp）获取当前块深度（在单张 H200 GPU 上与扩散去噪过程异步并行计算）。对于三维空间高重合区域，视锥切片重叠度平滑调制各层模型的 Token 块重要性；固定粒度的块选择完美对齐 FlashAttention 的分块（Tiled）执行核，从根源上砍掉随长序列线性/平方增长的冗余历史注意力开销。
• 南开大学 DeltaStreamer：变化感知结构化记忆 + 定向历史回放（arXiv:2610.19849）：模拟人类“持续观察—按需回放调查”的认知机制。在查询到来前，持续捕获并结构化记录画面中的视觉变化（保留事件如何演化的动态转移而非静态快照）；当问题到达时，由查询驱动规划器（Query-Driven Planner）定位缺失证据并触发针对性历史原帧回放（Targeted Replay），精准找回初期被压缩忽略的画面细节。
• 香港理工大学 CoWorld Reasoner & 浙大 WorldMemBench（arXiv:2610.21910 & arXiv:2610.19063）：CoWorld Reasoner 在冻结 VLM 与 VWM 权重的前提下，构建了可联合修正工具定义、技能提示与执行代码的 VLM-VWM 自演化 Harness，支持智能体自主决定何时调用世界模型合成新视角或推演未来动作后果；浙江大学 ZJU-REAL 团队则开源含 260 个多回访测试集的 WorldMemBench，首次将世界记忆拆解为静态记忆（人物身份/物体几何保持）与动态记忆（相机离开再重返后的事件演进与状态持久化）。

权威 Benchmark 与实测跑分对比

• Velox 在 H200 上实现 4.36 倍注意力加速且零精度折损（arXiv:2610.22311）：在生成至第 48 个视频块（Chunk 48） 时，免训练的 Velox 将注意力计算速度提升 4.36 倍（4.36x），将端到端扩散去噪速度提升 2.43 倍（2.43x）；在完整的 158 例 WBench 导航测试集上，其无 API 平均分与全稠密注意力的 LingBot-Fast-Cam 差距控制在极微小的 0.15 分以内。
• DeltaStreamer 刷新流式视频基准（arXiv:2610.19849）：在权威流式视频理解基准 OVO-Bench 与 StreamingBench 上，DeltaStreamer 分别斩获 66.07% 与 59.53% 的高分，显著超越现有主流流式视频压缩基线。
• CoWorld Reasoner 横扫 7 大时空推理基准（arXiv:2610.21910）：在涵盖空间智能、时序因果与感知推理的 全部 7 项基准上全面击败直接推理基线，其中在 MMSI 上取得 +11.8% 的相对准确率提升，在具身推理基准 ERQA 上取得 +13.0% 的相对准确率提升，并在 5 项基准上击败全部 5 种同基座自演化基线。

开发者实战落地与开箱指南

各项目均已上线开源仓库或主页：从事实时交互式视频世界模型部署的团队可参考 https://velox-world.com/velox/ 将 Velox 的异步视锥切片块路由器直接接入 FlashAttention 推理管线，无需重训即可在长视频流中获得超 2.4 倍的端到端帧率提升；多模态 Agent 开发者则可克隆 https://github.com/BBBBchan/DeltaStreamer 与 https://github.com/ModalityDance/CoWorld-Reasoner 接入回放调查与世界模型想象工具链，并使用 https://github.com/ZJU-REAL/WorldMemBench 评测模型的多次重访记忆衰退曲线。