AI 编程实时动态与要闻

腾讯混元（Tencent Hy）10 月 26 日开源实时同声传译模型 Hy-SimulMT，支持中英双向语音到语音翻译，边听边译，同时输出译文文本和语音，并可实时克隆说话人音色。Hugging Face 上一次放出 6 个权重（30B-A3B 的纯译文版与带原文的 Interleave 版，各含 BF16、FP8、GGUF），模型卡标注 Apache-2.0；GitHub 同步提供 SimulInfer 推理服务与 SimulTrain 训练工具。官方口径：RealSI 长音频评测 StreamLAAL 约 3 秒，为对比系统最低。

查看大图

来自清华大学和香港中文大学的研究团队在 arXiv:2610.28577 中正式发布划时代论文《Cache Engineering for Agents》，并开源专用服务引擎 AKV（thu-nics/AKV）。针对自主 Agent 在多轮长轨迹交互中，因传统“上下文工程（Context Engineering）”修剪文本导致前缀 KV 缓存彻底失效、引发高昂重预填（Re-prefilling）开销与关键记忆遗忘的痛点，论文提出“显存缓存工程（Cache Engineering）”。通过引入 drop（剔除显存中过期 Token）与 repos（位置编码重对齐）两大底层原语，配合 AKV 状态感知基数树引擎，在保持长程记忆的同时将 Agent 推理成本大幅削减 27.7%，P95 请求延迟提速 1.5 倍，基准测试准确率提升 1.7 分。

查看大图

LMSYS 团队联合 NVIDIA Dynamo 团队在官方技术博客与 X（@lmsysorg）正式宣布，高性能大模型推理框架 SGLang 推出弹性专家并行（Elastic EP）与 NIXL（Near-Instant Cross-Node Link）动态伸缩后端。针对超大 MoE 架构（如 DeepSeek-V3/V4）在传统静态专家并行下因单卡硬件故障导致全集群崩溃重启、以及业务高峰期无法在线扩容的严重痛点，Elastic EP 实现了专家-GPU 映射解耦。依托 NVIDIA NIXL 高性能通信原语与 Mooncake 调度器，SGLang 首次实现在完全不中断在线推理请求的前提下，将运行中的 MoE 集群动态扩容（如从 20 卡无感扩展至 24 卡），并支持单节点故障的秒级自动降级容错。

查看大图

Google Cloud 官方正式宣布开源 TorchTPU 核心加速框架，首次实现 PyTorch 框架原生、无编译壁垒地直接运行在 Google TPU（TPU v5p 与最新 TPU v6e）芯片之上。传统基于 PyTorch/XLA 的方案因复杂的计算图编译开销和动态形状限制，严重制约了 PyTorch 开发者在 TPU 上的创新步伐。TorchTPU 彻底打通了原生 PyTorch Eager 模式与自定义 Triton/C++ 硬件内核；主流高性能大模型推理引擎 vLLM 与 SGLang 同步官宣提供首发适配。同时，Google Cloud 宣布在其 Model Garden 引入 OpenAI 旗舰模型与 Codex，成为首个集齐全部三大顶级闭源模型的超算云平台。

查看大图

10 月 21 日，PHP 官方发布安全公告，修复两个可被未认证远程代码执行的严重漏洞（CVE-2026-109618、CVE-2026-109619），所有提供 Web 请求的 PHP 部署都受影响，mod_php 风险最高。OpenAI 同日披露：安全公司 Calif 在其 Patch the Planet 计划中用 GPT-5.6 Sol 发现了漏洞，Wiz 也独立发现并报告；OpenAI 牵头约两个月的协同披露，并承诺投入 10 亿美元补贴 Daybreak 给资源有限的防御方。

查看大图

vLLM 官方联合蚂蚁集团正式开源底层高性能量化推理算子库 Humming（humming-kernels）。该算子库专为大规模混合专家（MoE）与低精度密集模型的高并发服务而设计，全面覆盖 WnA16、W8A8、W4A8 与 W4A4 多种量化精度，横跨 INT1~INT8 与 FP4~FP8 数据格式，并原生适配从 NVIDIA Turing 到 Blackwell 架构及平头哥真武 810E 芯片。实测显示，Humming 算子在小 Batch 下比 cuBLAS 快 3~4 倍，在大 Batch 下比 Marlin 快 2 倍；在 8 张 H20 GPU 上运行 DeepSeek-V4.1-Flash，64 并发下整机端到端吞吐暴增 43.3%，首字时延（TTFT）大幅降低 32%，现已作为默认引擎整合至 vLLM v0.29.0+ 中。

查看大图

在 DeepSeek 宣布开源其生产级推理引擎 DeepInfer 数小时后，vLLM 官方项目团队正式公布了针对 DeepSeek-V4.1-Flash 的实测重磅性能对标数据。采用 DeepSeek 官方完全相同的测试拓扑（131K 超长上下文、nextn=3 投机采样），vLLM 在 NVIDIA GB200 NVL 架构上针对 Batch Size 8~256 的全并发区间，将与 DeepInfer 的端到端吞吐差距压缩至 6% 以内；在下一代 GB300 架构上，单 GPU 吞吐量突破 1,000,000 Token/秒，单用户峰值输出达 826 Token/秒，折合单 GPU 每小时营收达 38.96 美元。同时宣布 FastH3-Omni 与 Spark-X2.6-4B 首发支持。

查看大图

DeepSeek 官方正式开源其生产级高性能推理引擎 DeepInfer（基于 Apache 2.0 协议发布）。DeepInfer 汲取了 vLLM、SGLang 与 TensorRT-LLM 架构精华，专为大规模部署 DeepSeek-V4.1-Flash 设计。引擎支持 NVIDIA SM100 架构与华为昇腾 Ascend 950 NPU，原生集成 FlashMLA、DeepGEMM、DeepEP 与 TileKernels。引入 DSpark 置信度投机采样（默认 5 个 Draft Token）、SWA 有界重放（140 Token 窗口）与 MoE 专家并行动态负载均衡。同时开源生产级分词与编解码组件 deepseek-recipe，构建从模型、算子到推理服务的全栈开源生态。

查看大图

10 月 20 日 PyTorch Conference 北美站上，CNCF 沙箱项目 llm-d 发布 1.0。它把 vLLM、SGLang 等推理引擎组织成一个统一的服务池，1.0 新增多租户优先级与公平调度（flow control）、路由高可用与零停机滚动升级（DisaggregatedSet）、v1 配置 API，以及面向 Agent 的会话感知路由和 Responses API 状态支持。项目由 Red Hat、IBM、Google Cloud、CoreWeave、NVIDIA 于 2025 年创立，现有 500 多名贡献者；JetBrains、DigitalOcean、Mistral 等已在生产中使用。

查看大图

vLLM 官方项目组正式宣布将 PhysisServe 的核心推理加速架构整合至 vLLM-Omni 多模态全能推理引擎中。针对物理世界 AI、视频扩散生成与具身大模型在长程去噪阶段面临的高显存占用与高延迟痛点，PhysisServe 创新性提出去噪步与 Transformer 跨块流水线并行（Block Pipelining）、时间分片批处理与虚拟秩联合调度。在 200 张 GPU 集群上对 MiniMax H3 33B 展开实测，实现每 4.1 毫秒输出一个 Chunk（折合千帧/秒渲染），Wan2.2 5B 单卡单请求延迟从 173 毫秒降至 98 毫秒。

查看大图

针对多模态大模型普遍依赖纯文本监督而欠缺像素级细粒度空间定位能力的瓶颈，小米 AI 实验室（Xiaomi AI Lab）发表技术报告 Xiaomi-Lens-0（arXiv:2610.23279）。该模型基于 Qwen3.5 4B 打造，通过轻量级掩码解码器将视觉编码器 Patch 特征、隐层表征与掩码 Token 状态深度融合，在 RefCOCO/RefCOCO+/RefCOCOg 目标表达理解（REC 达 94.6%/92.1%/92.5%）与表达语义分割（RES cIoU 达 83.4%/79.9%/81.1%）上全面超越 Florence-2 与 LISA，同时保持 69.7% 的通用多模态感知高分。

查看大图

传统投机解码（Speculative Decoding）依赖目标模型的静态隐层特征，无法适应草稿模型随位置变化的动态上下文需求。香港大学团队发表 ReaDy（arXiv:2610.20503，HF 6 赞）。该框架首次为混合线性注意力模型（Hybrid Linear Attention，结合 Transformer 与 Mamba/RWKV 循环层）设计了以紧凑循环隐状态为动态上下文的投机草稿机制。在 NVIDIA B200 单卡上对 Qwen3.8-27B 展开评测，投机接受长度达 4.53，单卡解码吞吐飙升至 302.78 TPS，较标准自回归提速 2.4 倍。

查看大图

vLLM 官方推特宣布两项关键工程突破：在 v0.32.0 官方镜像中引入构建期 Python 字节码预编译（uv compile），使 H100 容器冷启动耗时缩短 14%~18%（省去约 18 秒且启动零重编译）；同时正式合入 Decision 3.0（D3）全系列 6 款结构化决策模型（0.6B 至 27B），通过 /v1/systemone 提供极速多模态选择与评分，在 AMD MI325X 单卡上支撑 64 并发的吞吐达原始基准的 1.8 倍。

查看大图

阿里巴巴淘天集团发表生产级多智能体商业视觉生成系统 CommerceGen-Studio（arXiv:2610.20603，HF 52 赞），通过 PERL-Agent 闭环自进化与 6B 参数 SKU-DiT（RDR 三阶段强化蒸馏），支撑日均数百万张秒级生成，并在真实流量基准 CommerceGen-Bench 上以 9.43/9.45 分击败 20B Qwen-Image-Edit 及闭源 Nano Banana Pro；同期微软研究院提出 Mine, Sample, Render（MSR，arXiv:2610.21185），在测试时外置统计采样彻底解决大模型生成同质化（Mode Collapse）。

查看大图