AI 编程实时动态与要闻

Mamba 作者、Cartesia 首席科学家 Albert Gu 团队 10 月 28 日发布两篇研究博客，公布新一代分层网络 H-Net 的扩展结果：在严格对照的 scaling ladder 中，只把 BPE 分词换成学习式动态分块，就获得最高 3–5 倍计算效率提升；更大的两阶段字节级 H-Net（3.67B 参数）在与 SmolLM3-3B 每字节算力对齐的条件下，约 1T token 即达到 SmolLM3 训练 11T token 后的平均下游分数（厂商口径）。新架构尚未开源，官方称计划逐步发布。

查看大图

传统投机解码（Speculative Decoding）依赖目标模型的静态隐层特征，无法适应草稿模型随位置变化的动态上下文需求。香港大学团队发表 ReaDy（arXiv:2610.20503，HF 6 赞）。该框架首次为混合线性注意力模型（Hybrid Linear Attention，结合 Transformer 与 Mamba/RWKV 循环层）设计了以紧凑循环隐状态为动态上下文的投机草稿机制。在 NVIDIA B200 单卡上对 Qwen3.8-27B 展开评测，投机接受长度达 4.53，单卡解码吞吐飙升至 302.78 TPS，较标准自回归提速 2.4 倍。

查看大图

NVIDIA 于 2026-10-15 发布开源多模态智能体模型 Nemotron 3.5 Super VL：120B 总参、每 token 激活 12B，Mamba-2/Transformer 混合 MoE + C-RADIO 视觉编码器，支持文本、图像、文档与视频输入，最长 1M 上下文，自带 MTP 与 LiLiCorr 投机解码。权重、数据集与训练配方以 OpenMDW-1.1 开放，已上 Hugging Face、OpenRouter、ModelScope 与 NIM。同日放出面向 RTX/DGX Spark 的 Bolt 74B-A9B 24GB（原生 2-bit 量化感知训练），4GB 的 Bolt E4B 将于 10 月 23 日跟进。

查看大图

多智能体协同（Multi-Agent Systems）在分工解决长上下文复杂任务时，长期受困于通信媒介的底层两难选择：传输纯文本信息虽然紧凑，但需要频繁自回归解码且容易丢失接收智能体所需的隐式证据；而近期前沿的“隐空间通信（Latent Communication）”直接传输 KV Cache 虽避免了文本生成的延迟与信息损失，但全量 KV Cache 会随上下文长度和协同智能体数量线性暴涨，极易击穿 GPU 显存限制与上下文窗口。哥伦比亚大学团队提出了创新的“接收端条件化通信”理念，并发布了无需训练（Training-Free）的即插即用框架 CacheBack（arXiv:2609.32046）：接收端智能体仅需向发送端发送一句极简的信息需求描述，发送端即可利用注意力权重对其自身的 KV Cache 进行高精度的按需过滤与剪裁。在 FanOutQA 复杂长文本多跳问答基准上，搭载 Qwen 3 的 CacheBack 成功剔除了接收端高达 75%~94% 的冗余状态，不仅使准确率相比传统文本通信大幅攀升 14.7 个百分点，还将中位数任务完成延迟缩短为原来的 1/3.2（降低 3.2 倍），并在密集 Transformer、Mamba 混合模型以及滑动窗口注意力等多架构上展现出通用稳健性。

查看大图

知名大模型轻量高效训练与推理工具 Unsloth 正式发布 v0.1.815-beta 版本，并上线 Linux x86_64 CUDA 13 官方预编译二进制轮子（涵盖 Flash-Attention 2.8.4、Causal-Conv1D 与 Mamba-SSM）。新版本原生支持在本地消费级与企业级 GPU 上以 Fast FP8 与 GGUF（默认 Q4_K_M）量化运行阿里开源的多模态图像编辑与生成旗舰模型 Qwen-Image-2.1。此外，Unsloth 本地 UI 引入了深度兼容 Claude Code 与 .agents 规范的自定义 Agent Skills 体系，支持在聊天中以 @skill 快速编排专用技能，长链思考思维块渲染速率提升一倍达到 60 FPS。

查看大图