AI 编程实时动态与要闻

ggml-org 于 10 月 5 日发布 llama.cpp v0.6.0 稳定版（上一版 v0.5.0 为 9 月 23 日）。本版把 GLM-5.3-Flash（GLM5-Next，320B 图文混合 MoE）支持带进正式版，Qwen4Exp 加入 MTP 投机解码（DGX Spark 上解码约 1.5 倍），引入支持 token/embedding 混合批次的 llama_batch_ext 与 llama_process() 新 API，并为 Apple GPU 新增小批量 MMA 矩阵乘内核（投机/批量解码场景最高约 3 倍），ggml 升级到 v0.26.0。会话格式版本号同时升级，旧会话文件需注意兼容。

开发者 Taro L. Saito（@taroleo）参照 TypeSafe Jev 的思路，放弃完整 text/json 生成、只保留判断头，把约 157GB 权重的 DeepSeek V4 Flash 决策能力在 DGX Spark 上蒸馏约 26 小时迁入 4B 模型。结果体积约缩为教师的 1/20，并在即时回答模式下超过教师，单次判断约 22ms，展示纯本地 LLM 做高速决策引擎的可行性。

MiaAI Lab（@MiaAI_lab）为 GLM-5.3-Flash EXL3 增加 TP=3 路径，可在三台 DGX Spark 上运行：相对 TP=2 解码速度 +28%、prefill +9%，并给出 3.2M KV cache 与 1M 上下文；另可选从头节点经 NFS 共享权重（NFS_SHARE=1），释放其余节点磁盘。仓库：github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks。

NVIDIA RTX Spark 公布本地 Agent 推理优化：GeForce RTX 5090 上 llama.cpp 吞吐最高提升约 1.9 倍；RTX PRO 6000 Blackwell 上 vLLM 约 1.2 倍；双机 DGX Spark 集群最高约 1.4 倍。面向本地部署与边缘 Agent 服务路径的持续加速。

SGLang 宣布为 DeepSeek-V4-Flash-Vision 与 DeepSeek-V4-Flash-0731 增加在 2×DGX Spark 上的部署食谱。Flash-Vision 带原生视觉；Flash-0731 支持 fp4 与 NVIDIA 官方 nvfp4；两者均跑在 b12x 内核库上，文档见 docs.sglang.io cookbook。

Perplexity（@perplexity_ai）宣布 Portable Computer 现可在 Linux 上运行，面向 24GB 及以上显存的 NVIDIA RTX GPU。产品定位为本地优先 AI 助手栈：编排器与子智能体可在设备侧私有运行，必要时再升到云端；此前已覆盖 NVIDIA DGX Spark，此次把本地部署扩展到消费级/工作站 RTX。

Perplexity 面向 Pro 与 Max 订阅用户推出 Portable Computer，基于 NVIDIA DGX Spark 硬件实现编排器、子 Agent 与底层 Harness 100% 本地运行。搭载针对知识工作微调的 PPLX 27B 模型，私密文档默认绝不出设备。