强化学习对齐的“隐形税”！斯坦福等揭秘后期训练锐化代价：过度追求 Pass@1 摧毁智能体解空间覆盖，PTGS 采样破局

核心背景与行业痛点

随着 DeepSeek-R1、OpenAI o1 等强化学习对齐范式的普及，业界普遍笃信：RL 后期训练（Post-Training）不仅能优化数学与编程解题，更能教会智能体此前不具备的“全新高阶决策能力”。各大团队纷纷将庞大算力倾注于针对工具调用与环境交互的强化学习微调。然而在实际工程部署中，开发者频繁遭遇诡异现象：经过重度 RL 微调的模型，虽然单次执行（Pass@1）指标光鲜亮丽，但在面对真正棘手的未知 Bug 或长尾复杂流程时，即使给予充足的测试时重试预算（Repeated Sampling / Pass@K），模型无论尝试多少次也始终在相同的狭窄思路中兜圈子，完全丧失了探索全新可行解的潜在空间。

架构亮点与底层机制

针对这一长期困扰产业界的核心谜团，斯坦福大学与 UW-Madison 联合团队开展了深入解剖，带来了颠覆性的机制洞察：

1. 后期对齐的本质是“行为锐化”而非“能力涌现”：实证发现，预训练未对齐基座模型（Pre-trained Base LLMs）只要配备一套极简的提示与格式解析外壳（Lightweight Harness），本身就蕴藏着惊人的智能体潜能。基座模型的 Pass@1 虽然较低，但在大采样预算下（如 K=64 或 128），其累计解决的独特任务总量（Solution Coverage）竟然普遍反超对应的 RL 对齐模型；
2. 极端极化效应与“锐化代价（Sharpening Tax）”：团队证明强化学习后训练将任务强行推向了两个极端——要么被过度固化为“永远能解（Always Solved）”，要么被打入冷宫变成“永远无法解（Never Solved）”。团队首创了“锐化代价”形式化量化指标，精准度量测试时可扩展性（Test-Time Scalability）的净损失；
3. 贝叶斯后验温度组采样（PTGS）算法：为打破固定采样温度对解空间的压制，团队提出了即插即用的 PTGS 算法。该方法在测试时根据 Prompt 的先验难度，利用贝叶斯推断自适应调节各个采样分支的动态温度分布；
4. 零破坏双赢兼顾：PTGS 无需对模型参数重新进行结构破坏性微调，直接在测试时调度阶段，以极小的税负代价激活多样化探索分支。

权威 Benchmark 与实测跑分对比

在跨越 4 大主流开源模型家族、14 组 Base/RL 对照检查点以及 3 大多轮智能体权威基准（涵盖复杂操作系统交互与网页自动化）共 42 组完整实验中，论文给出了确凿的数据定论：

1. 锐化代价广泛存在于所有主流智能体：在全部受测的 14 组对齐模型中，无一例外均表现出显著的锐化代价——尽管对齐后模型在 Pass@1 上平均领先 15%~25%，但在 K 扩大后，Base 模型的解覆盖率斜率明显更陡峭，在长尾难例上的最终通关率反超对齐模型；
2. PTGS 显著收窄锐化税负：在两个标准多轮 Agent 真实环境中接入 PTGS 后，智能体的重复采样探索效率大幅提升，解决的长尾任务总数较固定温度基线增加达 18.4%；
3. 兼得顶峰单次精度与长尾解法：在大幅提升解空间覆盖度的同时，PTGS 还额外将基准单次测试准确率（Pass@1）稳定推高了 3.2 个百分点，打破了精度与多样性的零和博弈。

开发者实战落地与开箱指南

这项重磅研究为所有致力于 Coding Agent 与工具调用智能体的团队敲响了警钟：盲目延长 RL 对齐轮数可能正在悄无声息地“扼杀”大模型的测试时拓展潜能。开发者在设计 Agent 测试时算力调度框架（Test-Time Compute Framework）时，应高度警惕单次 Pass@1 指标的欺骗性。推荐在多轮推理和代码沙箱试错中引入 PTGS 自适应温度调度策略，或者在构建混合 Agent 架构时，保留基座模型作为长尾探索的探索者（Explorer），让模型在面对极端系统死局时具备跳出局限思维、发现冷门破局路径的真正智慧。