隐状态超越 Token 概率！PR-OPD 特权表征自蒸馏：Agent 强化学习无师自通，WebShop 飙升 14 分

核心背景与行业痛点

自主智能体（LLM Agents）在复杂环境（如网页浏览、交互式购物、具身家居控制）中的决策训练主要依靠强化学习（RL）。然而，传统智能体 RL 面临两个致命难题：一是每个 Episode 仅有一个稀疏的全局 Reward；二是在特权自蒸馏（Privileged Self-Distillation）中，业界普遍假设通过让拥有特权技能（Skill）的策略模型去指导无技能模型对齐输出 Token 概率。但论文揭示了两个违背直觉的关键现象：

1. 隐形优势（Invisible Advantage）：在 WebShop 任务中，注入先验技能可将成功率从 42.2% 提升至 56.2%，但实际发生概率改变的 Token 占比不到 25%；
2. 表征巨变（Much to Align）：尽管表层 Token 概率变动极小，注入技能却显著重构了超过 80% 响应 Token 的内部隐状态（Hidden States），且线性探针能准确反向解码出具体技能。这证明仅仅对齐表层 Token 概率丢失了绝大部分高阶决策信号。

架构亮点与底层机制

为彻底激活智能体内部的深层表征潜力，团队提出了特权表征在线自蒸馏框架 PR-OPD：

1. 零外部教师自循环：无需昂贵的外部闭源大模型充当 Teacher。策略模型首先通过 GRPO 进行热启动，随后针对自身生成的交互轨迹反思撰写“事后技能”（Hindsight Skill）；
2. Stop-Gradient 影子教师重读：策略模型将自身撰写的事后技能置于上下文中，作为冻结梯度的特权 Teacher 重新读取同一交互响应；
3. 逐层投影隐状态对齐：在策略主线更新时，除环境奖励目标外，系统将所有网络层的投影隐藏状态（Projected Hidden States）直接与 Teacher 的表征逐层拉近对齐；
4. 零推理附加开销：训练完成后，所有隐状态对齐模块和技能重读通道完全脱除，部署期智能体以纯技能无关的原始形态运行，不产生任何额外推理延迟或参数膨胀。

权威 Benchmark 与实测跑分对比

在具身模拟基准 ALFWorld 与复杂网络电商环境 WebShop 上的双基础模型实测中，PR-OPD 展现出全方位的压倒性优势：

• 基线全面刷新：在所有实验配置下，PR-OPD 均取得了绝对第一的最佳成绩；
• WebShop 任务巨大飞跃：在 WebShop 基准上，PR-OPD 相比标准 GRPO 算法实现了高达 14.0 个百分点的准确率暴涨（从 42.2% 飞跃至 56.2% 以上）；
• ALFWorld 鲁棒泛化：在 ALFWorld 的长链路家务交互任务中，成功率提升达 4.7 个百分点，充分验证了内部隐状态特征向泛化动作规划的有效迁移；
• 表征探针证明：对比实验证明，对齐隐状态的收敛速度是单纯对齐 Token KL 散度的 3.2 倍，消除了策略更新中的动作震荡。

开发者实战落地与开箱指南

PR-OPD 的完整代码与训练脚本已在 GitHub 开源（balibata/PR-OPD），为构建垂直领域自治智能体提供了全新后训练范式：

• 项目克隆与部署：执行 git clone https://github.com/balibata/PR-OPD 即可获取支持 GRPO 与逐层表征损失的自定义 Trainer；
• Agent 训练闭环整合：在开发特定业务流程 Agent（如客服自动化、SQL 交互生成、终端脚本执行）时，可利用业务成功轨迹自动生成 Hindsight Reflection 作为特权上下文，替代高成本的人工标注；
• 高效训练建议：仅需在隐藏层投影头施加轻量 MSE 损失即可实现梯度回传，单机 8 卡 A100/H100 即可完成全参数高效自蒸馏。