破局同策略蒸馏！RIDE 框架提出表征残差外推：摆脱输出空间噪声衰减，学生模型全面反超强化学习教师

核心背景与行业痛点

同策略蒸馏（On-Policy Distillation, OPD）是强化推理大模型（Reasoning Models）的重要基石：它让学生模型在其自身探索采样的推理路径上，紧跟特权教师模型（强化学习对齐后的教师）的分布。然而学术界一直追求的圣杯是“让学生模型超越教师”。现存的广义外推方案均局限于在最后的 Logits 输出空间或概率分布空间做隐式奖励外推。但语言模型头（LM Head）在投影时存在严重的各向异性（Anisotropy）与降维压缩，教师在深层隐状态中蕴含的大量几何特征变化仅有微小比例能够映射到最终 Logits 上；更致命的是，基于输出 Token 对数概率比值的外推在训练中会极度放大采样噪声，导致微调过程极易发散崩溃。

架构亮点与底层机制

针对上述输出空间蒸馏的致命缺陷，来自前沿顶尖团队发表了重磅成果《The Teacher Is a Direction, Not a Destination》，提出了革命性的 RIDE（RL-Induced Direction Extrapolation）框架：

1. 将教师视作进化的方向而非终点：研究团队深刻指出，强化学习（RL）从根本上是在表征空间内对基座模型的内部隐状态施加了一个有向几何位移向量（Representation Shift）。教师模型只是该方向上的一个中间检查点，绝非能力上限；
2. 逐层表征残差直接外推（Extrapolating Hidden Residuals）：在模型的每一层与每一个 Token 位置，RIDE 精准计算教师模型与未经过 RL 的 Base 基座模型之间的表征残差向量（Residual），并指示学生模型的隐状态沿着该向量进一步向外延伸（Displaced Beyond the Teacher）；
3. 带二次惩罚的有向线性奖励（Linear Reward with Quadratic Penalty）：严密的数学推导证明，在采样轨迹条件下，RIDE 的表征回归目标严格等价于“在以教师为中心的二次偏离惩罚下最大化线性方向奖励”，在保障训练稳定性的同时最大化释放进化潜力；
4. 零额外推导开销：训练全程直接对齐内部隐层，完全绕开 Logits 头的各向异性衰减与概率比噪声注入，产出的学生模型可独立部署。

权威 Benchmark 与实测跑分对比

在跨越 4 组涵盖不同参数规模、网络拓扑架构与预训练血缘谱系的“Base-教师”对照测试中，RIDE 取得了突破性的实测战果：

1. 首个全量反超 RL 教师的蒸馏算法：在全部 4 组模型对照测试中，RIDE 训练的学生模型综合推理成绩全部达到甚至显著超越了经过昂贵强化学习训练的特权教师模型，成为受测所有蒸馏方法中唯一均值反超教师的存在；
2. 彻底解决基座相近时的退化缺陷：在消融实验中，传统的输出空间外推方法在教师与基座差距较小时往往导致学生能力严重退化，而 RIDE 始终保持高增益单调上升；
3. 多跳逻辑推理泛化跃升：在复杂数学证明与推理链条基准上，RIDE 展现出显著更强的解题鲁棒性与更低的幻觉率，成功证明了表征几何外推的优越性。

开发者实战落地与开箱指南

RIDE 官方实现代码与项目主页已在 GitHub（https://github.com/xixixixixxxx/RIDE）全面开源。该研究从底层重塑了业界对大模型自蒸馏与模型进化的认知：对于正在进行大模型后期对齐（Post-Training）、小模型蒸馏提速以及长思考链能力压缩的团队，推荐摒弃传统的 KL 输出散度强行拟合，直接引入 RIDE 隐层表征残差外推目标，在无需反复耗费庞大算力跑全量强化学习的前提下，让蒸馏出的小模型拥有青出于蓝的超级推理表现。