AI 编程实时动态与要闻

面壁智能旗下 OpenBMB 10 月 27 日开源 MiniCPM-OCR 套件，含两款模型：1.3B 参数的文档解析模型 MiniCPM-OCR 1.0（Real5-OmniDocBench 93.68、OCRBench v2 54.7，官方口径），以及 2B 参数的 OCR 质量判定模型 MiniCPM-OCR Jev，可给任意 OCR 解析结果按区域打 0–1 分、标出需人工复核的内容。代码和权重均为 Apache 2.0，首发即支持 vLLM、SGLang、llama.cpp、Ollama 及多家芯片平台。

查看大图

扩散智能 DiffuSpace（成员来自推出 Dream 7B 的港大 NLP 实验室）10 月 28 日发布首个模型 Clover-35B-A3B-Preview：基于 Qwen3.6-35B-A3B 初始化的 MoE 扩散语言模型，总参 35B、激活约 3B、128K 上下文，按块并行去噪生成。官方口径下 SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7、GPQA Diamond 83.8，单张 GB300 上 Agent 场景生成速度 680 tokens/s。权重 Apache 2.0，已上 Hugging Face、ModelScope 和 GitHub，支持 SGLang 与 llama.cpp。

查看大图

由 Richard Socher 创办的 Recursive 正式开源 39.8B（40B）混合专家（MoE）编程智能体模型 Flint（RecursiveSI/flint），采用 Apache 2.0 协议并在 Ollama（ollama run flint）与 llama.cpp 全面开箱即用。该模型每 Token 仅激活 2.5B 参数，拥有 262K 超长上下文，在 M4 Pro MacBook Pro 上可实现 125+ tokens/秒的超高速本地推理。在 SWE-bench Verified 取得 74.2%、SWE-bench Pro v2 达到 89.7%，成为 50B 以下端侧运行最强编程智能体底座。

查看大图

Unsloth 于 10 月 19 日（UTC）发布 DeepSeek-V4.1-Flash-1017 的动态 GGUF 量化与本地运行指南。按 Unsloth 口径，1-bit UD-IQ1_M 体积 250.4GB（无损 Q8 为 508.4GB），在 long17k 上与官方权重 top-1 一致率 88.2%，可在 128GB+ 内存设备上运行；模型的 Engram n-gram 表（110.6–202.8GB）可通过 mmap 留在 SSD 按需读取。目前需用 Unsloth 的 llama.cpp 分支或 Unsloth Desktop 运行。

查看大图

Nous Research 于 10 月 14 日（UTC）发布开源智能体 Hermes Agent v0.22.0「Threshold Release」。新装桌面版用免费试用模型 nous/welcome 引导配置，无需 API Key；新增经 Nous tool gateway 接入 Gmail、Linear、Notion 的连接器；内置一键 llama.cpp 本地模型运行时；改为经过测试的 SemVer 稳定通道，并提供签名桌面包（含 Microsoft Store）。官方称这是史上最大更新窗口，代码量从约 106 万行精简到 69.8 万行（−34%）。

查看大图

2026-10-12 OpenBMB（面壁智能）发布 MiniCPM-V 4.7 开源多模态系列，含 35B-A3B（系列首个 MoE）与 1B 两款，Apache-2.0。配套的 Lookahead Expert Scheduling（LES）跨层预取专家，叠加分层混合精度量化与 DSpark 投机采样，官方在 iPad Pro M4（16GB）上把专家从 SSD 加载的解码速度从 2.97 提到 17.39 token/s（5.86 倍）。权重已上架 Hugging Face / ModelScope / Ollama，支持 vLLM、SGLang、llama.cpp 与 iOS / Android / 鸿蒙端侧部署。

查看大图

Liquid AI 发布两款开源权重多模态决策模型 d1-3B（文本+图像）与实验性 d1-omni-600M（文本+图像/音频）。它们不生成 token，单次前向直接输出概率化答案；d1-3B 在 Decision Index v0.2.1 公开集拿到 48.57，10B 以下第一、比肩 12 倍体量的 Decider 35B-A3B，RTX 4090 单问 8ms、Jetson Orin Nano 50ms，首日支持 llama.cpp，适合 Agent 护栏、重排序与视觉质检。

查看大图

大语言模型（LLM）的预填充（Prefill）与解码（Decode）阶段对底层硬件提出截然相反的要求：Prefill 是典型的计算密集型，依赖超低精度算术核心（如 FP4/INT4）快速吞吐长 Prompt；而 Decode 是典型的显存带宽受限型，需要紧凑的超低比特权重（如 2-3 bit Weight-Only）减少每次访存延迟。然而传统的全流程统一量化方案迫使两者相互妥协，导致性能与精度双重折损。来自顶尖系统团队与 IST Austria 的重磅研究《Disaggregated Quantization: Specializing LLM Prefill and Decode》（arXiv:2609.26333）开创了“分离量化（DQ）”体系：为 Prefill 与 Decode 定制各自独立的计算格式、量化权重与物理存储布局。针对单卡显存受限场景，创新推出卸载式分离预填充（ODP），通过 NVMe SSD 异步流式加载 NVFP4 预填充权重，在 llama.cpp 与 8K 长文本上将 Qwen3.8-27B 首 Token 生成延迟（TTFT）暴降 1.78 倍，并在 vLLM 分布式环境中验证了高达 2.8T 参数超大规模模型的完美兼容性。

查看大图

ggml-org 于 2026-10-02 宣布 llama.cpp server 合并 PR #29818，新增 /v1/systemone：对状态（文本/JSON/截图）与 typed 问题做单次前向打分，兼容 TypeSafe Jev / System One 客户端。首批模型：Julia-1（144M）、Laya（421M）、Kev-4B、lev、OpenJev（27B+视觉）。Cloudflare Clef 列为后续。

查看大图

ggml-org 于 2026-09-23 发布 llama.cpp v0.5.0：CUDA conv2d 改隐式 GEMM 加速、Metal 侧 MoE 与 SSM_CONV 融合；server 支持多地址/--host 逗号列表与 UNIX socket；转换层新加 HRM-Text（DFM Mimir 1B）、MiMo-V2.6、HunyuanOCR（DFlash），并捆绑 ggml 0.25.0。

查看大图

本地大模型推理运行时标杆 Ollama（@ollama）正式推出 v0.40.0 大版本更新。本次更新最具突破性的变革是：在搭载 Apple Silicon（M1 至 M5 芯片）的 Mac 设备上，Ollama 默认全面采用苹果官方原生 MLX 推理后端替代传统 llama.cpp 运行时。首批支持以原生 MLX 模式零配置运行 Qwen 3.8、Llama 3 等核心架构，彻底打通苹果统一内存的高带宽通道，本地推理首 Token 延迟降低 42%，持续生成吞吐量实现近乎翻倍的提升。

查看大图

Cline（VS Code 扩展）于 2026-09-24 发布 v4.1.21：新增日本开源权重 OpenAI 兼容提供商 ai&；模型目录刷新到 6,386 个模型、覆盖 209 家提供商，其中 19 家未固定默认模型的提供商会改默认（11 家切到 Claude Opus 5.5，含 GitHub Copilot 与 Vertex）；本地模型（llama.cpp / Ollama / LM Studio）触达输出 token 上限时会 compact 对话并重试一次。同步抬升 js-yaml 最低版本至 4.3.2。

查看大图