小教师反向超强大脑！浙大等揭示同族同策略蒸馏标度律：弱教强全面反超，拟合强化学习蒸馏幂律

核心背景与行业痛点

随着 DeepSeek-R1 与强化学习对齐在逻辑推理上的巨大成功，如何将强化学习获得的推理能力蒸馏至更通用的大模型已成为工业界的核心攻坚方向。然而以往研究主要聚焦于“大参数特权教师指导小参数学生（Strong-to-Weak）”的单一路径。业界长期存在一系列悬而未决的底层疑问：小尺寸但经过重度 RL 训练的专家模型，能否有效指导未经过 RL 的大尺寸基座模型（Weak-to-Strong OPD）？同策略蒸馏（On-Policy Distillation, OPD）的能力迁移速度到底遵循何种数学规律？教师模型的参数规模是否越大越好？缺乏精准的定量标度律（Scaling Laws）导致模型蒸馏训练往往依赖昂贵的盲目调参试错。

架构亮点与底层机制

针对上述问题，浙江大学等机构的联合研发团队发表了突破性论文，首次确立了同族同策略自蒸馏（Same-Family OPD）的全局动力学标度模型：

1. 确立“有效迁移域（Useful-Transfer Regime）”线性规律：研究发现，在 OPD 训练早期，测试集精度指标（Gold Score, G）与学生模型相较于初始检查点的逆向 KL 散度平方根（即 $d = \sqrt{\text{KL}(\pi_\theta \parallel \pi_{\text{ref}})}$）呈现高度规律性的近似线性正比关系，为训练过程的早期收敛预测提供了确定性指标；
2. 以弱教强（Weak-to-Strong）的普遍逆袭：在所有受试的“弱教师对强大脑学生”配对实验中，大参数学生模型的峰值测试成绩均绝对超越了特权教师模型自身，证实紧凑型专用 RL 检查点能够成功将高阶推理结构灌注并放大至超大基座中；
3. 首创定量 OPD 标度幂律（Power Laws for OPD）：团队拟合了峰值成绩 $G_{\text{peak}}$ 以及有效迁移斜率关于学生参数量、教师参数量以及教师原始得分的精确幂律公式；
4. 反直觉的“小教师更优”发现：标度律揭示，特权教师模型对学生表现的增益仅在教师规模接近学生规模时达到饱和；在相同的 Gold Score 表现下，更小尺寸的教师模型反而能够提供更致密、更少表征冗余的高纯度监督信号，迁移效率显著压制巨型教师。

权威 Benchmark 与实测跑分对比

在跨越算术竞赛（Countdown）、科学逻辑推理与代码生成三大权威任务的严密对照测试中，该标度律展现了强大的预测精度与指导价值：

1. 以弱教强峰值表现全线超越教师：在 Qwen 家族各尺寸对照实验中，以轻量级 3B/7B RL 强化教师指导 14B/32B 基座学生，学生模型的最终峰值分数较教师检查点平均净增 5.4~8.2 分；
2. 幂律预测相对误差小于 3.5%：拟合的动力学幂律公式在未见过的中途蒸馏配置预测中，对最终收敛点和步数消耗的预估准确率超过 96.5%；
3. 引导式自举蒸馏（Bootstrapping OPD）效益倍增：基于该标度律设计的自举多级弱教强梯级蒸馏流水线，在消耗仅相当于端到端 RL 训练 15% 算力的情况下，达到了全量 RL 对齐 98% 以上的顶级数学推理水准。

开发者实战落地与开箱指南

这项研究为大模型后训练（Post-Training）和蒸馏流水线架构师提供了决定性的降本增效黄金法则：在研发通用推理大模型时，切忌盲目耗费巨额算力直接在百亿或千亿基座上跑昂贵的大规模强化学习！推荐的最佳工程实践是：先在紧凑高效的小尺寸同族基座（如 3B 或 7B）上以极低成本跑通 RL 强化学习训练，再通过同策略蒸馏（OPD）将其推理能力以弱教强的方式快速灌注给大规模基座模型，以几何级降低的算力账单实现顶尖推理能力的无损倍增。