AI 编程实时动态与要闻

Kimi 官方账号 @Kimi_Moonshot 于 11 月 4 日 16:00（UTC）宣布开放 Kimi K3.1 Pro 模型权重，仓库 moonshotai/Kimi-K3.1-Pro 已公开、无需申请。模型卡显示它是 2.8T 总参、104B 激活的原生多模态 MoE，1M 上下文，权重以 MXFP4（量化感知训练）发布，仓库约 1.56TB；官方推荐 vLLM、SGLang 和 TokenSpeed 部署。许可证允许自由使用和修改，但年收入超 2000 万美元的 MaaS 业务需另签协议。

查看大图

2026-10-23（UTC 15:41，SGT 23:41），NVIDIA AI 官方账号 @NVIDIAAI 宣布 Nemotron 3.5 Bolt E4B 4GB 上线，定位是能对话、能调用工具的本地小模型，用于本地助手、互动角色和机器人。Hugging Face 官方模型卡显示：它由 Gemma-4-E4B-it 后训练而来，总参数 8B（有效 4B），Q4_K_M 量化，输入输出各支持最多 64K token，可开关思考模式，并提供 DFlash 推测解码草稿模型和 BF16 版本；权重、数据和训练配方开放，许可证为 OpenMDW-1.1，可商用。模型卡跑分中，4GB 量化版 MultiChallenge 55.60（Gemma4 E4B-it 同量化 39.36、Qwen3.5 4B 52.23），但 Tau2-Bench 52.32、BFCL-v3 67.31 低于 Qwen3.5 4B。

查看大图

开源 AI 实验室 Ornith 团队正式发布 Ornith-1.5-122B 混合专家推理模型，并在 MIT 宽松协议下完全开源。该模型专门面向单节点 GPU 服务器（如单台 DGX）设计，提供包括 FP8、GGUF 与 MLX 在内的全套量化版本，已同步上架 Ollama（ornith-1.5:122b）与 vLLM/SGLang 运行时。在权威基准评测中，Ornith-1.5-122B 展现出媲美超大规模闭源模型的编程与智能体能力：在 OpenHands 评测框架下，SWE-bench Verified 达到 84.5 分，SWE-bench Pro 斩获 76.9 分（相较 Qwen3.8-Flash-Next 的 43.9 分取得跨越式领先），TerminalBench 达 81.2 分，MCP-Atlas 达到 74.6 分。

查看大图

在小参数语言模型中，庞大的词表嵌入层往往占据模型总参数量的六成以上，成为端侧部署与三值量化（Ternary）的致命包袱。最新研究（arXiv:2610.22428）提出革命性的无训练词表方案：利用主成分投影与符号二值化构建仅 16 MB、含 512 位二进制码的固定词表，彻底移除可训练嵌入参数。在 Gemma 3 270M 上，可训练参数从 268.1M 骤降至 101.0M（暴减 62.3%），而 HellaSwag（30.4%）与 PIQA（61.5%）等基准表现持平甚至反超原版模型。

查看大图

2026-10-12 OpenBMB（面壁智能）发布 MiniCPM-V 4.7 开源多模态系列，含 35B-A3B（系列首个 MoE）与 1B 两款，Apache-2.0。配套的 Lookahead Expert Scheduling（LES）跨层预取专家，叠加分层混合精度量化与 DSpark 投机采样，官方在 iPad Pro M4（16GB）上把专家从 SSD 加载的解码速度从 2.97 提到 17.39 token/s（5.86 倍）。权重已上架 Hugging Face / ModelScope / Ollama，支持 vLLM、SGLang、llama.cpp 与 iOS / Android / 鸿蒙端侧部署。

查看大图

大语言模型（LLM）的预填充（Prefill）与解码（Decode）阶段对底层硬件提出截然相反的要求：Prefill 是典型的计算密集型，依赖超低精度算术核心（如 FP4/INT4）快速吞吐长 Prompt；而 Decode 是典型的显存带宽受限型，需要紧凑的超低比特权重（如 2-3 bit Weight-Only）减少每次访存延迟。然而传统的全流程统一量化方案迫使两者相互妥协，导致性能与精度双重折损。来自顶尖系统团队与 IST Austria 的重磅研究《Disaggregated Quantization: Specializing LLM Prefill and Decode》（arXiv:2609.26333）开创了“分离量化（DQ）”体系：为 Prefill 与 Decode 定制各自独立的计算格式、量化权重与物理存储布局。针对单卡显存受限场景，创新推出卸载式分离预填充（ODP），通过 NVMe SSD 异步流式加载 NVFP4 预填充权重，在 llama.cpp 与 8K 长文本上将 Qwen3.8-27B 首 Token 生成延迟（TTFT）暴降 1.78 倍，并在 vLLM 分布式环境中验证了高达 2.8T 参数超大规模模型的完美兼容性。

查看大图

在千亿参数大模型与端侧推理场景中，低比特权重量化与 KV Cache 压缩（如 W4A4KV4）是降低显存门槛与大幅提升吞吐的核心命脉。然而学术界长期存在一个认知误区：盲目追求削减激活值中的离群异常值（Outliers），而忽视了异常值与量化器本身的几何对齐关系。高通与苏黎世联邦理工学院等机构联合团队推出突破性量化框架 PrismQuant：首次揭示离群点绝对数值较小并不意味着低比特误差小，真正决定量化保真度的是异常值主特征空间与非对称分组量化器（Grouped INT4）常数子空间的最优几何对齐。团队将旋转矩阵设计巧妙构建为 Ky Fan 迹最大化问题，推导出了严格最优的闭式数学解析解。在 Llama、Qwen 与 Mistral 等涵盖 70B 密集模型与 30B MoE 模型的广泛评测中，W4A4KV4 配置下的 PrismQuant 刷新了业界 SOTA：在 Llama-3.1-70B 上零样本准确率仅比未量化的 FP16 全精度低 0.22 个百分点；在 8B 部署实测中实现 1.51 倍 Prefill 加速、解码显存峰值狂降 56.34%，代码已全面开源。

查看大图

针对大语言模型在 Prefill（计算受限）与 Decode（显存带宽受限）阶段对量化格式需求迥异的本质矛盾，ISTA 与 Neural Magic 等团队提出解耦量化（Disaggregated Quantization, DQ）。通过为 Prefill 阶段训练计算原生的 NVFP4 权重，同时为 Decode 阶段保留 2-3 比特超紧凑权重，并结合从 SSD 流式加载的卸载解耦预填充（ODP）技术，在 8K 上下文下将首字时延（TTFT）加速 1.78 倍，1 比特解码在 MMLU-Pro 上准确率跃升 32.5 分。

查看大图

知名大模型轻量高效训练与推理工具 Unsloth 正式发布 v0.1.815-beta 版本，并上线 Linux x86_64 CUDA 13 官方预编译二进制轮子（涵盖 Flash-Attention 2.8.4、Causal-Conv1D 与 Mamba-SSM）。新版本原生支持在本地消费级与企业级 GPU 上以 Fast FP8 与 GGUF（默认 Q4_K_M）量化运行阿里开源的多模态图像编辑与生成旗舰模型 Qwen-Image-2.1。此外，Unsloth 本地 UI 引入了深度兼容 Claude Code 与 .agents 规范的自定义 Agent Skills 体系，支持在聊天中以 @skill 快速编排专用技能，长链思考思维块渲染速率提升一倍达到 60 FPS。

查看大图