AI 编程实时动态与要闻

LM Studio 于 10 月 29 日 15:32（UTC）在 X 上宣布，用户现在可以在 LM Studio 里下载新的 oMLX 引擎，直接用于已下载的 MLX 模型；官方更新日志把它列为 Bionic 1.1.10 的新功能，同版本还加入 MLX 模型投机解码和应用内终端。oMLX 是韩国开发者 jundot 维护的 Apple Silicon 开源推理服务器（Apache 2.0，GitHub 约 2.3 万星），主打连续批处理和内存加 SSD 的两级 KV 缓存。官方未公布 LM Studio 内的速度对比。

查看大图

Anthropic 10 月 29 日在 X 上介绍「自我评估」（self-assessment）：Claude 每次回答后，对整段对话给出一份结构化的初步安全评估，用于离线复核。官方 Safeguards 博客称，在 Claude Fable 5 上，1% 误报率下它能覆盖更强的提示词分类器所标记对话的 78%、高优先级对话的 94%；因对话已在 KV cache 中，平均只多生成约 10 个 token，估计增加不到 2% 推理算力。该技术自 6 月起在生产中运行，但官方也说明它挡不住专门针对它的攻击者，只作为纵深防御的一层。

查看大图

Cloudflare 10 月 26 日在官方博客发布事故报告：8 月 27 日至 9 月 9 日，Workers AI 上的 GLM-5.3（@cf/zai-org/glm-5.3）对超过 681,280 token 的长提示，有 155 条回复混入了其他用户刚发过的请求内容，且都返回 HTTP 200。原因是 prefill 节点 KV 缓存池小于 1,048,576 token 的上下文窗口，叠加 SGLang 在 prefill/decode 分离模式下处理超长请求的漏洞。Cloudflare 称未发现恶意利用，已修复并建议运营方升级到 SGLang v0.5.22 或更高版本。

查看大图

多所顶尖研究机构在 arXiv:2610.26825 中正式推出原生记忆基础模型架构 MemT-1.0。针对传统大模型依赖庞大外部 KV Cache 或外挂 Vector RAG 导致的长文本显存爆炸与检索断层痛点，MemT-1.0 将记忆内化为模型计算的原生组成部分。基于 Metis 框架，模型采用 Gated DeltaNet-2 结合轮内稳定的 Token 级记忆更新机制，并引入 Mixture-of-Storage 结构拓展原生记忆容量。在 340 亿 Token 数据持续预训练与对齐后，MemT-1.0-Nano 在 128K 超长历史下实现 1.86 倍推理加速与惊人的 66 倍持久存储削减，显著提升复杂智能体长程任务成功率。

查看大图

DeepSeek 于 10 月 20 日（UTC）开源内部推理框架 DeepInfer（Apache 2.0），即支撑 DeepSeek-V4.1-Flash 大规模线上服务的推理栈。本次开源版本提供离线推理，支持 Attention DP/CP、MoE EP+EPLB 并行、DSpark 投机解码、SWA bounded replay、批次不变推理、确定性采样和结构化输出，硬件为 NVIDIA SM100 与华为昇腾 950。KV cache 系统、PD 分离和负载均衡未包含在内。同时开源的 deepseek-recipe（MIT）负责把 Chat Completions、Messages、Responses 等格式请求统一转换并编码，对齐官方 API 行为。

查看大图

vLLM 于 10 月 18 日发布 v0.32.0，363 位贡献者（121 位新人）提交 814 次。重点包括默认提供的 POST /v1/systemone 结构化决策接口与通用 hf 工具/推理解析器；NVFP4 KV 缓存扩展到 SM8x/SM90/SM12x，GLM-5.x 在 SM100 默认 FP8 KV；Model Runner V2 新增 GPU n-gram 投机与 Elastic EP，并成为 ROCm 默认；修复 3 个安全公告并收紧 CORS 默认值，同时放弃 Python 3.10。

查看大图

针对超长上下文大模型推理中的 KV 缓存传输与显存瓶颈，今日两项重磅系统与架构研究给出突破方案：在 8xB300 节点运行 GLM-5.3（FP8 MLA）的 8 路预填充上下文并行（PCP8）实测中，研究者发现传统远程 KV 缓存会导致高命中流 p99 飙升至 83.32 秒（GPU 利用率仅 7%），通过按 PCP Rank 分片与异步加载（已合入 LMCache 上游）将读取带宽提升 6.3 倍至 10.76 GB/s、p99 暴降至 0.67 秒；百度飞桨则开源虚拟头注意力 VHA（arXiv:2610.17959），推理期零开销折叠为双 KV 头 GQA-2，在 30B-A3B MoE（500B Token 训练）上全面击败 MLA 与 GQA-4，128K RULER 暴涨 11.4 分。

查看大图

标准 Transformer 架构长久以来依赖残差流（Residual Stream h）作为层间信息流转的单一叠加通道，导致各注意力层为了独立解耦深层语义，必须各自投影并持久化保存极其庞大的键值缓存（KV Cache），持久显存开销随层数与隐藏层维度以 2 * L * d_model 线性膨胀，严重制约了端侧推理与百万 Token 超长上下文扩展。研究学者提出了颠覆性的对数结构 Transformer 架构 The Extender（arXiv:2609.32759）：在传统的残差叠加流 h 之外，额外开辟了一条极度轻量的层间拼接通道（Concatenation Channel x）。每一层仅向残差流输出正常更新 delta_l，同时向拼接通道追加一个尺寸极小的新增扩展向量 epsilon_l（例如 |epsilon_l| = 32）。最为关键的创新在于：FFN 与 Query 投影继续读取承载高维融合语义的 h，而各层的 Key/Value 投影则完全且唯一地读取拼接通道 x！这一重构使得持久注意力显存占用从 2 * L * d_model 暴降至 sum |epsilon_l|。在 924M 参数、隐藏维度 1664 的模型实测中，The Extender 将注意力持久显存占用水准断崖式削减了 104 倍，不仅在短文本 CORE 基准上与标准 Transformer 表现持平，在 RULER 超长上下文严苛测试中更是全面反超标准 MHA，且模型越宽省存效益越呈几何级放大。

查看大图

Reka Labs 于 10 月 5 日发布 Rho-1 研究预览：19B 参数、从零训练，在单一网络、单一 KV Cache 里统一文本、图像、视频与机器人动作 token，不依赖工具调用或第二个模型。每个 Transformer 块拆成「理解流」与「生成流」两路专家权重并共享注意力，联合优化 next-token 与 flow matching。官方称基础版视频生成约 0.79× 实时（中位），蒸馏版把去噪从 99 步压到 8 步，5.3 秒视频约 1 秒返回；全部结果来自 320 张 H100 训练三个月的检查点。目前仅为研究预览，无公开权重，需邮件合作。

查看大图

多智能体协同（Multi-Agent Systems）在分工解决长上下文复杂任务时，长期受困于通信媒介的底层两难选择：传输纯文本信息虽然紧凑，但需要频繁自回归解码且容易丢失接收智能体所需的隐式证据；而近期前沿的“隐空间通信（Latent Communication）”直接传输 KV Cache 虽避免了文本生成的延迟与信息损失，但全量 KV Cache 会随上下文长度和协同智能体数量线性暴涨，极易击穿 GPU 显存限制与上下文窗口。哥伦比亚大学团队提出了创新的“接收端条件化通信”理念，并发布了无需训练（Training-Free）的即插即用框架 CacheBack（arXiv:2609.32046）：接收端智能体仅需向发送端发送一句极简的信息需求描述，发送端即可利用注意力权重对其自身的 KV Cache 进行高精度的按需过滤与剪裁。在 FanOutQA 复杂长文本多跳问答基准上，搭载 Qwen 3 的 CacheBack 成功剔除了接收端高达 75%~94% 的冗余状态，不仅使准确率相比传统文本通信大幅攀升 14.7 个百分点，还将中位数任务完成延迟缩短为原来的 1/3.2（降低 3.2 倍），并在密集 Transformer、Mamba 混合模型以及滑动窗口注意力等多架构上展现出通用稳健性。

查看大图

大语言模型智能体传统上依赖逐 Token 生成（Token-by-Token）中间推理与环境动作，导致多轮长程交互推理极度缓慢且计算成本极高。基于有限域概率预测的 Jev 风格轻量级模型虽然具备超高速执行优势，但必须依赖预先静态指定离散动作域，无法直接处理开放世界中高度动态、自然语言驱动的复杂决策任务。上海交通大学（SJTU）团队提出了创新的自适应推理策略 JevSpawn。该框架创造性地在自然语言任务规格说明与有限概率探索之间架起桥梁：通过并行动作繁衍（Action Spawning）、反馈驱动的分支优选、表征实时校正及保留备选项恢复机制，极大削减了上下文重复计算；在无需任何额外模型微调的前提下，在 8 大基准任务上全面击败 7 款主流智能体基线，推理延时显著降低。

查看大图

在长上下文推理优化中，以固定步长将连续 Token 窗口压缩为少量 Cache 条目的“分块 KV Cache 压缩”（如 SnapKV、StreamingLLM、PyramidKV 等技术）是降低显存与注意力算力的主流标配。然而，斯坦福大学与中国人民大学等学者团队研究发现了一个被整个行业长期忽视的系统性致命缺陷：压缩机制在隐层空间引入了一个新的相对坐标——Token 相对压缩窗口边界的位置（即“相位” Phase）。实验揭示，模型表现出严重的“相位敏感性”（Phase Sensitivity）：完全相同的事实信息，仅因其在文本中的偏移位置处于压缩窗口的不同相位，长文本检索准确率差距最高竟可达 40 个百分点！传统的全局平均评测基准彻底掩盖了这种周期性盲点。团队从零预训练了多组不同压缩架构的 Transformer 并开展因果干预分析，首次从注意力头分工机理上解构了相位特化现象，为长文本推理压缩算法的评估与架构设计敲响了警钟。

查看大图

在千亿参数大模型与端侧推理场景中，低比特权重量化与 KV Cache 压缩（如 W4A4KV4）是降低显存门槛与大幅提升吞吐的核心命脉。然而学术界长期存在一个认知误区：盲目追求削减激活值中的离群异常值（Outliers），而忽视了异常值与量化器本身的几何对齐关系。高通与苏黎世联邦理工学院等机构联合团队推出突破性量化框架 PrismQuant：首次揭示离群点绝对数值较小并不意味着低比特误差小，真正决定量化保真度的是异常值主特征空间与非对称分组量化器（Grouped INT4）常数子空间的最优几何对齐。团队将旋转矩阵设计巧妙构建为 Ky Fan 迹最大化问题，推导出了严格最优的闭式数学解析解。在 Llama、Qwen 与 Mistral 等涵盖 70B 密集模型与 30B MoE 模型的广泛评测中，W4A4KV4 配置下的 PrismQuant 刷新了业界 SOTA：在 Llama-3.1-70B 上零样本准确率仅比未量化的 FP16 全精度低 0.22 个百分点；在 8B 部署实测中实现 1.51 倍 Prefill 加速、解码显存峰值狂降 56.34%，代码已全面开源。

查看大图

在协同多智能体系统（MAS）中，多个 Prompt 特化智能体共享同一基座大模型分工解决复杂工程任务。但由于各智能体拥有不同的角色前缀（System Prompt），导致相同共享上下文生成的 KV Cache 产生偏差，迫使每个智能体全量重算甚至多套冗余缓存常驻。首尔大学与 KAIST 团队推出在线校正框架 KVCMAS，采用紧凑低秩状态表示跨智能体缓存偏差，免除外部参考重算直接链式校正，在真实高并发下实现首字时延（TTFT）降低 2.0 倍、显存峰值暴降 3.7 倍。

查看大图