剑桥大学重磅实证：同策略蒸馏神话被打破？前向 KL 惊人稳健，揭秘强化学习蒸馏的动态底层真相

核心背景与行业痛点

在推理模型后训练（Post-Training for Reasoning）领域，同策略自蒸馏（On-Policy Distillation）与可验证强化学习（RLVR）已被公认为大模型进化的黄金定律。主流观点坚称：基于学生模型自主采样轨迹的“同策略学习（On-Policy Learning）”天然优于离线教师轨迹的“异策略监督微调（Off-Policy SFT）”，因为前者据称能极大减轻灾难性遗忘、产生更稀疏的权重更新并具备更优越的泛化能力。然而，现存文献在对比 SFT 与强化蒸馏时，往往同时混杂改变了采样分布、优化目标函数（如正向与反向 KL）、超参数及学习率等多个变量，导致真正决定模型能力的本质因素一直处于黑盒迷雾中。

架构亮点与底层机制

针对这一关键理论盲区，剑桥大学顶级团队开展了详尽的控制变量对照实验，深入解构了从强教师到弱学生（Strong-to-Weak Distillation）的动力学本质：

1. 三大变量严密正交解耦：系统性独立调控采样轨迹策略（从纯教师离线轨迹到纯学生同策略轨迹的连续谱系）、Token 级 KL 散度方向（Forward-KL 对比 Reverse-KL）以及优化学习率三大核心维度；
2. 破除采样策略决定论：数学推导与实验证明，采样策略本身并不在蒸馏动力学中扮演核心驱动角色。决定最终任务表现与输出模式覆盖度（Output Coverage）的决定性力量，其实是“Token 级 KL 散度的方向”；
3. 前向 KL 的惊人强健性（Forward-KL Robustness）：无论使用教师轨迹、学生轨迹还是中间混合轨迹，前向 KL 散度均表现出极高的鲁棒性，性能稳定且强悍；
4. 反向 KL 的高度敏感性与学习率支配律：反向 KL（Reverse-KL）对采样策略极其敏感，必须强制依赖学生自主采样的轨迹才能稳定收敛；而灾难性遗忘的严重程度和参数更新的稀疏性，几乎完全由“学习率（Learning Rate）”与梯度裁剪策略所支配，而非同策略机制本身。

权威 Benchmark 与实测跑分对比

研究在涵盖科学严密证明、复杂医学决策与极限数学运算（跨越 Llama-3 与 Qwen-2.5 全尺寸模型家族）上展开了全景验证：

1. 前向 KL 在连续采样谱系上近乎平坦：在从 100% 教师采样逐步平滑过渡到 100% 学生同策略采样的连续实验中，基于 Forward-KL 的模型在各大任务上的评测曲线始终保持高位平稳，证实离线轨迹与在线轨迹在强监督下差异被极度夸大；
2. 极端算术倒计时（Countdown）的分布外泛化：虽然同策略数据在极具挑战的倒计时算术高难度变体上展现出更佳的分布外（OOD）泛化增益，但实验证明这一微弱优势在后续追加标准的 RLVR 训练后并未能稳定保留；
3. 长链条多跳推理下的普遍结论：无论移除梯度裁剪、使用蒙特卡洛采样的 KL 估计器，还是在超长思考链复杂任务上测试，论文的核心结论均保持高度一致与强韧。

开发者实战落地与开箱指南

剑桥大学的这一重磅实证为全球 AI 算法工程师和蒸馏流水线架构师提供了宝贵的降本增效指引：不要盲目神化“同策略采样”。如果团队算力有限、无法支撑在线自采样生成轨迹的高昂开销，使用高质量离线教师轨迹（Off-Policy Rollouts）配合精心设计的前向 KL 散度目标，不仅在工程实现上极其稳定高效，且最终模型表现能够完全匹敌甚至超越昂贵的同策略架构；同时，通过精细调谐学习率退火策略而非纠结采样分布，能够更直接、更本质地遏制灾难性遗忘。