更强监督就在隔壁！微信与腾讯 AI Lab 提出邻域同策略自蒸馏：参数邻域扰动释放隐藏监督，AIME 跑分持续飙升

核心背景与行业痛点

在 DeepSeek-R1、OpenAI o1 引领的长程深度推理浪潮中，同策略自蒸馏（On-Policy Self-Distillation, OPSD）成为在不需要额外昂贵专有教师模型的前提下、大幅强化开源模型数学逻辑推理能力的主流算法。OPSD 的巧妙之处在于构建一个“特权教师”——让其在上下文中提前查阅参考答案，进而对学生模型在探索中自采样的推理分支（Student-Sampled Prefixes）计算正向 KL 散度进行逐步监督。然而，现行所有 OPSD 方法在每一个状态节点上均依赖单一静态权重的特权教师。实践表明，单一教师往往在特定推演步骤存在盲区或过于宽泛，无法在所有状态步上提供最精准的梯度纠偏；若盲目引入多个外部大模型担任教师，又会导致蒸馏几何空间严重错位且训练开销失控。

架构亮点与底层机制

针对特权教师单一性的局限，腾讯联合研发团队提出“更优的监督信号其实就隐藏在参数邻域中（Better Supervision Is Nearby）”，打造了 N-OPSD 创新架构：

1. 局部参数扰动激发出互补纠错：研究团队证实，对特权教师参数施加极微小的局部权重扰动（Local Parameter Perturbations），能够激发出多个不同视角下的互补对齐纠错信号。不同的邻域专家在不同推演位置提供了更丰富、更抗幻觉的真值引导；
2. 离线贪心构建紧凑专家池：利用贪心过滤算法，仅保留在各个位置上能够提供超越当前最佳表现增益的特征扰动，萃取出极小规模的高效冻结邻域专家池（Pool of Frozen Experts）；
3. 在线 MaxPeak 锚定与分位数动态路由：研究发现概率最高峰值专家并不必然是最佳训练目标。团队设计了巧妙的两阶段路由机制：先通过 MaxPeak 确定锚定 Token 方向，再通过分位数选择（Quantile Selection）在顶层命中该 Token 的邻域专家中挑选最佳分布；
4. 零推理负担纯净学生交付：蒸馏全程基于裁剪正向 KL（Clipped Forward-KL）进行，最终推理部署时仅保留蒸馏后的纯净学生模型，零显存与零延时额外开销。

权威 Benchmark 与实测跑分对比

研究团队在涵盖全球最高难度数学竞赛的 AIME 2024、AIME 2025 以及哈佛-麻省理工数学锦标赛 HMMT 2025（2025 年 2 月最新赛题）三大权威基准上，进行了严密的独立对照实验：

1. 三大竞赛基准均分持续显著突破：基于 Qwen3 家族的 1.7B、4B 与 8B 三个参数档位，N-OPSD 在三大竞赛基准上的综合 Average@12 得分较标准 OPSD 分别提升了 2.75 分、1.67 分与 1.94 分；
2. 打破单教师长程推理瓶颈：消融实验显示，邻域专家池在长达数十步的超长逻辑证明中，有效避免了单教师在推演中后段容易出现的置信度过度饱和问题，错误分支挽救率提升达 31.4%；
3. 跨任务泛化能力验证：学生模型对邻域专家知识的吸收超越了训练所用的参考解题路径，面对全新竞赛题型展现出极强的自主推演鲁棒性。

开发者实战落地与开箱指南

N-OPSD 为致力于研发高难度数学、科学推理模型与代码 Agent 的算法团队提供了一条极具启发性的低成本进阶路径。开发者无需重训多套教师模型，仅需在现有的自蒸馏微调脚本中引入参数微扰生成机制与 MaxPeak 路由算子，即可在同等计算资源预算下，从参数自身邻域中“无中生有”地榨取出更密集的高质量监督信号，持续推高模型在 AIME、HMMT 级别复杂任务上的解题天花板。