揭秘大模型同策略蒸馏（OPD）黑盒！港大团队利用稀疏交叉编码器首次证实：模型并未学习新特征，而是重塑既有特征权重

核心背景与行业痛点 以 DeepSeek-R1-Distill 系列为标志，同策略蒸馏（On-Policy Distillation, OPD）已成为将千亿甚至万亿旗舰大模型的强悍推理能力以极低成本压缩进 7B~32B 小模型的黄金技术标准。然而，学界与工业界长久以来对 OPD 的内部运行机理缺乏系统性可解释认知： 1. 黑盒知识注入假说的模糊性：多数算法工程师直觉认为，蒸馏是将教师模型内部更高维、更抽象的未知表征“灌输”给学生。但由于学生与教师网络结构、参数量和隐层维度往往极度异构，教师到底改变了学生的哪些神经元通路，此前完全处于盲盒状态； 2. 缺乏跨模型中间特征的精准探针：传统单个 SAE（稀疏自编码器）只能分析单一模型，无法横跨教师与学生对比同一语义特征的演变。 ### 架构亮点与底层机制 香港大学（HKU）研究团队巧妙运用 稀疏交叉编码器（Sparse Crosscoders） 与自研的 Swap Readout（交换读取） 技术，解开了这一谜题： 1. 统一特征字典对齐：构建一个由蒸馏前学生、蒸馏后学生以及强教师模型三方共享的统一高维稀疏特征字典； 2. 重塑权重而非创造特征：通过对跨检查点特征激活的精确测算，研究首次证实：OPD 既没有在学生体内创造新的特征，也没有将教师独有的特征移植过去。学生模型 98% 的常用特征激发频率保持稳定，OPD 的本质是在强化学习的目标引导下，系统性地对学生原本就拥有的特征进行“权重重分配”（Feature Reweighting）； 3. 揭开 SFT 热身的底层秘密：行业实践中普遍在 OPD 前用教师的采样数据做少量 SFT 热身。研究证明热身发挥了双重关键作用：其一，提前提升了后续 OPD 重点强化的特征激活；其二，稳定固化了对话格式、逐步推理范式和数学符号习惯等基础特征，为后续强化扫清路障。 ### 权威 Benchmark 与实测跑分对比 - 特征干预仿真证实机理：团队在不改变学生模型任何模型权重的前提下，仅在推理时人工将教师特征激活权重重塑至未热身学生上，直接使其基准测试准确率大幅跃升，逼近全量热身蒸馏后的高分水准；而对随机打乱的特征进行相同干预则毫无效果，严格证实了特征重分配假说的因果性； - 98% 特征稳定性：在横跨数学求解与逻辑推理的三大典型 OPD 实验配置中，学生模型内部超过 98% 的基础表征在训练前后维持着高度一致的几何激活特性，证明基座预训练的表征完备性； - 小模型对齐上限洞察：这一发现揭示，若小模型在预训练阶段未能习得某种底层的抽象语义表征，纯靠后训练 OPD 蒸馏是无法凭空“无中生有”的，基座模型的多样性预训练是蒸馏天花板的根本决定因素。 ### 开发者实战落地与开箱指南 - 技术论文收录：arXiv:2609.35210 提供了完备的稀疏交叉编码器损失函数与特征交换读取算法； - 模型蒸馏流水线优化建议：大模型训练团队在进行小模型蒸馏时，切忌跳过 SFT 热身阶段直接硬跑 OPD。应优先精选 5K~10K 条高质量思维链样本完成格式与风格特征的预对齐，再开启多轮同策略蒸馏； - 模型剪枝与量化启示：既然 OPD 仅激活了特定推理相关的特征子集，开发者可利用稀疏交叉编码器筛选出低激活甚至休眠的冗余神经元通路，为后续结构化剪枝与低比特量化（INT4/FP4）提供高精度指导。