AI 编程实时动态与要闻

10 月 8 日 JetBrains 开源 Mellum2.1 Thinking：架构仍为 12B MoE / 2.5B 激活、131K 上下文、Apache 2.0；几乎全部增益来自百万级真实沙箱 RL。同管线自评：SWE-bench Verified 47.0（Mellum2 仅 2.0）、LiveCodeBench v6 82.0；HF 可下，vLLM 一键服务，GGUF/MTP 即将到来。

ggml-org 于 10 月 5 日发布 llama.cpp v0.6.0 稳定版（上一版 v0.5.0 为 9 月 23 日）。本版把 GLM-5.3-Flash（GLM5-Next，320B 图文混合 MoE）支持带进正式版，Qwen4Exp 加入 MTP 投机解码（DGX Spark 上解码约 1.5 倍），引入支持 token/embedding 混合批次的 llama_batch_ext 与 llama_process() 新 API，并为 Apple GPU 新增小批量 MMA 矩阵乘内核（投机/批量解码场景最高约 3 倍），ggml 升级到 v0.26.0。会话格式版本号同时升级，旧会话文件需注意兼容。

@Brjen 团队在一块 RTX 3090（24GB）上花一周对比本地编码智能体配置，胜出组合为 Qwen3.8-27B Unsloth UD-Q4_K_XL + llama.cpp（65k 上下文、q8 KV、原生 MTP depth 2、全 GPU）。真实多步编码跑分约 59 tok/s（45k 上下文时约 46 tok/s），并通过嵌套工具 JSON、修失败测试与正确 unified diff 等门槛；认为 Q3 不可靠、更高量化挤占上下文，Flash-Next 需卸载反而不稳。

Unsloth 宣布优化后的本地 GGUF 解码使 GLM-5.3-Flash 推理最高提速约 3.3 倍（常见场景约 1.6–3.4×），并启用多 token 预测（MTP）与更快的长上下文解码。3-bit 量化可在约 128GB 内存设备上通过 Unsloth Desktop 或 llama.cpp 运行，配套文档与 Hugging Face GGUF 权重已更新。

高并发推理引擎 vLLM 迎来 0.28.0 重磅更新，汇总 270 位开发者的 584 项提交。全面优化 Kimi-K3 与 DeepSeek-V4 稀疏 MLA（覆盖 Decode、MTP 与 DSpark 推测解码），Model Runner V2 支持 E/P/D 分离与权重卸载，KV Cache 新增磁盘分层存储。

DeepSeek 官方开源其最新研发的 MTP（Multi-Token Prediction）代码加速推理框架。通过在模型解码阶段并行预测多个后续语法块，在 Cline、Aider 等终端 Agent 工具执行大规模跨文件 Diff 和单测生成时，吞吐速度实测提升 3 倍以上，且完全保持语法准确性。