香港科大揭秘推理模型蒸馏底层本质：On-Policy 蒸馏只教会组织技能，并不增加事实记忆！

核心背景与行业痛点

在 DeepSeek-R1、Qwen-2.5-Math 等前沿思考模型问世后，后训练领域掀起了一场席卷全行业的“蒸馏革命”。开发者通过收集顶尖长思维链（Long-CoT）数据，利用在线策略蒸馏（On-Policy Distillation, OPD）等技术，将数千亿参数旗舰模型的推理能力注入到 7B、8B 甚至 3B 的轻量端侧模型中，在 GSM8K、MATH 和 HumanEval 上刷出了令人惊叹的高分。然而，这种现象在理论层面上引发了持久的争论与困惑：小模型之所以变聪明，究竟是因为通过蒸馏学到了教师模型庞大的事实记忆库，还是仅仅掌握了拆解步骤、反思自检的思考套路？如果小模型本身欠缺某个专业领域的底层事实，盲目使用推理蒸馏是否只是在“教一个没有常识的人如何长篇大论胡言乱语”？

架构亮点与底层机制

为了彻底拨开这一认知迷雾，香港科技大学研究团队设计了具备严密隔离特性的合成因果实验平台（Synthetic Capability Control Framework，arXiv:2610.09639）：

1. 事实储备与组合技能的严格正交解耦：研究团队构建了受控的知识图谱与多跳逻辑演化链。首先精确测量学生模型的初始知识基线，随后由浅入深控制教师模型拥有的优势：仅包含额外事实、仅包含多步组合逻辑技能、或二者兼备，彻底消除预训练数据重叠带来的混淆变量；
2. 多架构与散度目标的消融全景：在 3 个主流大模型家族的 4 款不同规模模型上展开系统验证，深入剖析逆向 KL 散度（Reverse-KL OPD，即当前主流强化学习与在线蒸馏采用的优化目标）与传统前向 KL 散度（Forward-KL，监督微调 SFT）的梯度传递机理；
3. 真实基准的双重验证：在最新的事实性问答基准（Factual QA）与高难度竞赛数学题库（AIME / AMC）上同步追踪学生的记忆留存曲线与解题成功率。

权威 Benchmark 与实测跑分对比

实验揭示出极其鲜明且不可逆转的“不对称性认知法则”：

1. 技能高效迁移 vs 知识几乎为零：在逆向 KL 散度驱动的 OPD 训练下，学生模型能够近乎 100% 继承教师在未知推理结构上的多步拆解、分支回溯等高阶组合技能；然而在独立测试教师特有事实的问答中，学生模型的知识获取率逼近于 0，几乎完全无法吸收新的参数化事实；
2. Reverse-KL 与 Forward-KL 的根本分歧：消融实验表明，当把蒸馏目标替换为前向 KL 时，事实记忆的迁移效率立刻恢复；而学生模型自主生成推理轨迹（Student Rollouts）的机制，正是让模型能够深层优化多步逻辑执行、摒弃冗余推导的关键引擎；
3. 真实赛题与问答验证一致性：在真实数学竞赛与事实性 QA 实验中，逆向 KL 蒸馏为学生模型带来了高达数十个百分点的数学推理提升，但事实性记忆容量没有发生任何可测量的膨胀，证实了小模型仅在重构与调度自身已有的知识。

开发者实战落地与开箱指南

港科大的重磅研究（arXiv:2610.09639）为当前狂热的推理模型蒸馏与 Agent 模型定制提供了极其清醒的工程路线图。企业与开发者在打造垂直领域代码与推理小模型时，切勿企图“通过推理蒸馏让小模型学会新业务规范或内部私有 API 事实”！正确的后训练双阶段范式应当是：

1. 知识注水阶段：必须先通过前向 KL（即高质量 SFT 监督微调或持续预训练）将业务知识、代码语法和专有实体扎实注入模型的参数权重；
2. 推理激活阶段：在模型已经掌握事实的基础上，再引入逆向 KL 在线策略蒸馏（OPD）或 RLVR，激发其长思维链反思与多步逻辑串联能力。唯有明确技能与事实的边界，才能避免模型陷入“格式极其严谨、内容通篇幻觉”的研发陷阱。