AI 编程实时动态与要闻

2026-10-23（UTC 15:41，SGT 23:41），NVIDIA AI 官方账号 @NVIDIAAI 宣布 Nemotron 3.5 Bolt E4B 4GB 上线，定位是能对话、能调用工具的本地小模型，用于本地助手、互动角色和机器人。Hugging Face 官方模型卡显示：它由 Gemma-4-E4B-it 后训练而来，总参数 8B（有效 4B），Q4_K_M 量化，输入输出各支持最多 64K token，可开关思考模式，并提供 DFlash 推测解码草稿模型和 BF16 版本；权重、数据和训练配方开放，许可证为 OpenMDW-1.1，可商用。模型卡跑分中，4GB 量化版 MultiChallenge 55.60（Gemma4 E4B-it 同量化 39.36、Qwen3.5 4B 52.23），但 Tau2-Bench 52.32、BFCL-v3 67.31 低于 Qwen3.5 4B。

查看大图

在小参数语言模型中，庞大的词表嵌入层往往占据模型总参数量的六成以上，成为端侧部署与三值量化（Ternary）的致命包袱。最新研究（arXiv:2610.22428）提出革命性的无训练词表方案：利用主成分投影与符号二值化构建仅 16 MB、含 512 位二进制码的固定词表，彻底移除可训练嵌入参数。在 Gemma 3 270M 上，可训练参数从 268.1M 骤降至 101.0M（暴减 62.3%），而 HellaSwag（30.4%）与 PIQA（61.5%）等基准表现持平甚至反超原版模型。

查看大图

为终结智能体每一步都调用昂贵旗舰大模型的算力浪费，今日两项重磅研究分别从‘轨迹级投机验证’与‘隐状态不确定性升级’实现突破：LARK AI Lab 开源的 SpecAgent（arXiv:2610.21463）让轻量小模型连续起草并执行只读工具调用（遇到首个写操作时暂停），再由大模型通过单次并行 Prefill 批量做语义审查与局部修复，在 τ²-Bench 上逼近大模型原版成功率的同时将显存流量与端到端耗时直接砍半；而 LEASH（arXiv:2610.22280）零额外前向开销复用隐状态不确定性动态移交控制权，搭载 Qwen3.5-35B-A3B 在 OSWorld 上以 73.66% 成功率反超全程调用的 Claude Opus 5（72.90%），同时节省 19.2% 成本。

查看大图

随着混合专家（MoE）与大小模型协同推理技术的爆发，Token 级动态模型路由（Token-Level Routing）成为平衡生成质量与算力成本的最优解法：让小模型快速生成易词，遇到关键决策或难词时动态无缝路由至大模型。然而，现有的 vLLM、TGI 等大模型推理服务引擎均基于单模型运行设计，在面对跨模型的 Token 级频繁流转时面临严重的‘步骤去同步化（Step Desynchronization）’、批处理准入延迟激增以及异构集群开发极其繁琐的工程瓶颈。来自清华大学电子工程系 NICS 实验室的研究团队在 NeurIPS 2026 接收论文（arXiv:2610.12242）中正式开源了高性能服务系统 TokenRouter（代码：github.com/thu-nics/TokenRouter）。TokenRouter 提出了‘以请求为中心编程、以模型为中心执行’的创新范式，开发者仅需以单请求视角编写简洁的路由逻辑，底层系统则负责将其解耦为异步协作流。系统引入了基于离散时间马尔可夫链数学建模的‘延迟批处理调度器（Delayed-Batching Scheduler）’，配合‘解耦三循环（Decoupled Tri-Loop）’与毫秒级移交恢复机制（Handoff-Resume），在多种主流路由算法与异构模型组合上实现了比现有前沿系统高出 2.01 倍至 64.15 倍的解码吞吐量提升，官方代码现已开源。

查看大图

在以长思考链（CoT）为核心的测试时缩放（Test-Time Scaling）浪潮中，4B~8B 的轻量化小推理模型（sRM）因低延迟与低部署成本而备受关注。然而韩国科学技术院（KAIST）团队研究发现：小模型的测试时自我反思（Self-Refinement）主要是在当前状态已能触达的解空间中重新聚合概率，无法凭空创造未知的参数化知识；当遭遇“知识瓶颈”时，一味增加思考 Token 反而会导致严重的幻觉与算力浪费。为此，KAIST 团队推出 FlyBy 选择性查询架构：通过中间状态干预精准切分“执行瓶颈”（靠反思修复）与“知识瓶颈”（靠外呼获取），利用成本感知强化学习（Cost-Aware RL）训练小模型自主权衡查询决策。在 6 项权威硬核基准 1,158 道挑战题上，FlyBy-4B 取得 45.96% Pass@8，全面超越 14B 参数的 Qwen3-14B（41.64%），而综合服务成本狂降 2.7 倍（立省 63%）。

查看大图