无需搜索直接锐化！南加大等提出 OPPD 在线幂分布蒸馏：单遍输出斩获 64 采样推理力，MATH500 暴涨 23 分

核心背景与行业痛点

大语言模型在解决前沿数学奥数（如 AIME、MATH500）与高难度代码生成时，推理能力的提升往往极度依赖“测试时计算缩放（Test-Time Compute Scaling）”——即通过 Best-of-N（生成 16~64 条候选链）、MCTS 树搜索或 Beam Search 来选出最佳答案。究其根本，是因为在长文本自回归生成中，虽然模型对正确路径的预测概率单项最高，但由于搜索空间巨大，成千上万条略有瑕疵的错误路径“合力”掠夺了总概率质量的大半。现有的采样锐化理论（Power Sampling）虽然能通过给完整序列概率赋予指数幂次（P^a, a > 1）来强行压低错误尾部，但它必须在推理期反复采样几十次并打分，导致企业在提供线上 API 服务时面临数十倍的成本开销与无法忍受的延迟。

架构亮点与底层机制

针对这一推理端搜索的算力瓶颈，南加州大学团队提出了颠覆性的在线策略幂分布蒸馏算法 OPPD（On-Policy Power Distillation，arXiv:2610.06804）：

1. 训练期吸收推理搜索能力（Search-Free Single Pass）：OPPD 的核心目标是“把原本需要推理端跑 64 次搜索才能拿到的结果，固化进模型单次生成的参数直觉中”。模型在推理线上仅需单遍前向传播，即刻输出已锐化的高置信度解答；
2. 序贯蒙特卡洛（SMC）加权教师循环：在训练过程中，在线被训模型负责自回归生成多样化候选解，冻结的教师模型则依据序列级幂分布为这些候选解赋予重加权评分；系统将这些概率直接作为极大似然更新的样本权重，强制学生模型将注意力重心从长尾噪声迁移到概率峰值区域；
3. 完全无需标准参考答案（Zero-Reference Supervision）：与依赖严格黄金解答的传统监督微调或需要环境执行验证的 RL 不同，OPPD 完全依靠模型自生成的轨迹与内在概率分布的相对熵收敛，在无监督环境下实现自主理性锐化；
4. 单损失系数精准调控锐化指数：框架仅需调整一个优雅的损失系数，即可让模型吸收从 1.19 到 2.02 的不同锐化指数，实现了对模型输出确定性的精细梯度化控制。

权威 Benchmark 与实测跑分对比

在数学推理三大黄金基准 MATH500、GSM8K、AIME 以及权威代码生成基准 HumanEval 上，OPPD 展现了惊人的提效战力：

1. 单遍生成成绩大幅超越 64 次候选搜索：在相同采样温度下，OPPD 将基座模型的 MATH500 单遍生成准确率大幅提升了 23.0 个百分点，GSM8K 狂飙 27.3 个百分点；更为惊人的是，其单次生成得分比以往需要跑 64 个候选链的昂贵 Power Sampling 基线还要高出 2.4 至 3.5 分；
2. 完胜同算力强化的 GRPO 强化学习：在相同的检查点与训练算力预算下，与采用真实答案反馈训练的 GRPO 相比，无需任何参考答案的 OPPD 在 MATH500、GSM8K 和奥数 AIME 上分别超出 3.8、4.0 和 5.4 个百分点；而将 OPPD 叠加在已训练的 GRPO 模型之后时，性能更可再次叠加暴涨高达 9.3 分；
3. 数学训练强力迁移至代码生成（HumanEval +5.3 分）：虽然 OPPD 仅在纯数学题目上进行蒸馏训练，但模型习得的严谨思考链与概率锐化直觉直接跨领域泛化，在 HumanEval 代码生成基准上取得了高达 5.3 分的额外跃升。

开发者实战落地与开箱指南

OPPD 的完整训练流水线、SMC 采样蒸馏器与配置脚本已在 GitHub（https://github.com/ArminAzizi98/OPPD）全面开源。对于正在为 Coding Agent、数学解题助手以及低延迟推理业务研发模型的技术团队，OPPD 带来了前所未有的工程红利。开发者无需在生产环境中维护庞大而昂贵的并发多采样与重排序推理集群，只需在模型后训练阶段挂载 OPPD 蒸馏脚本，即可将模型原先需要数十次采样才能逼出的尖端推理智商，直接内化为单次生成的闪电级肌肉记忆。