打破扁平动作序列！滑铁卢大学等开源 X-Tree：无监督分词提炼可复用经验树，WebArena 成功率提升 4.5%

核心背景与行业痛点

在当前的大语言模型智能体训练中，监督微调（SFT）与可验证强化学习（RLVR）通常将智能体的交互轨迹视为一条线性的扁平 Token 序列，所有 Token 均被施加相同强度的交叉熵损失或策略梯度。然而，人类解决现实工程与网络导航任务的本质是“自顶向下的层级化规划”——高频复用如“登录鉴权”、“条件过滤”、“表单提交与回滚”等通用操作套路。现有的 Agent 技能方案（如 Agent Skills 或 Tool 封装）大多停留在 Context Prompt 层面的被动拼接，不仅消耗宝贵的上下文窗口，且模型权重并未真正内化程序结构。如何像分词器（BPE）从海量非结构化文本中无监督提取词表一样，从稀缺的智能体成功轨迹中自发提炼动作级经验树并直接注入权重，是智能体规模化泛化的重大挑战。

架构亮点与底层机制

针对上述瓶颈，研究团队推出了 X-Tree（经验树分词机制），其核心在于完全抛弃昂贵的大模型反思提示词，纯粹依靠统计驱动实现经验树的分层归纳：

1. 动作区间可复用度评分：借鉴文本分词器只依靠字频合并的数学准则，X-Tree 对原始交互轨迹中的动作片段进行规范化（Canonicalization）处理，评估动作区间在不同任务间的跨任务共现频率与成功贡献度；
2. 可复用经验树归纳（X-Tree Induction）：自底向上贪心合并高频子技能，构建层级化经验树。每个树节点对应一个高频且伴随成功的复合技能及其子技能拓扑关系；
3. 三大训练范式无缝嵌入：

• 离线强化学习（Offline RL）：将 X-Tree 的各个经验子节点直接作为独立的训练样本，大幅提升稀缺正样本轨迹的信息吞吐利用率；
• 在线强化学习（Online RLVR）：依据智能体在探索过程中对经验树节点的命中与拓扑匹配度，动态赋予自适应技能奖赏（Adaptive Skill Bonus）；
• 同策略自蒸馏（On-Policy Self-Distillation）：将 X-Tree 注入教师模型的特权上下文中，引导学生模型在自身采样轨迹中学习高质量宏观规划。

权威 Benchmark 与实测跑分对比

研究团队在涵盖复杂网页操作、长程科学环境模拟与电商交互的三大代表性基准上，针对不同参数规模模型进行了严密测试：

1. 任务成功率全面跃升：在相同训练样本量与算力预算下，X-Tree 在复杂网页环境 WebArena 上的成功率提升达 4.5%；在长程科学决策环境 ScienceWorld 上成功率激增 5.8%；在多轮电商检索基准 WebShop 上的任务完成率提升 4.1%。
2. 数据利用效率成倍提高：消融实验证实，X-Tree 的层级节点重构彻底打破了“单条轨迹仅提供一个二元反馈”的低效窘境，模型在更少训练步数下展现出更优异的少样本泛化力。
3. 纯统计构建零额外开销：构建整套 X-Tree 经验树无需任何大模型预标注或重打标签，端到端经验树构建时间仅数分钟，计算开销可完全忽略。

开发者实战落地与开箱指南

X-Tree 算法源码与环境构建脚本已在 GitHub 完全开源。对于正在研发企业级 RPA 智能体、网页自动化操作 Agent 或自动化测试机器人的团队，可以将现有的多轮操作录屏日志或 API 调用日志转为规范化 Action 序列，运行 X-Tree 分词脚本自动提取核心操作经验树。开发者既可以直接用提取出的经验节点增强 SFT 训练集，也可以作为在线强化学习的奖励塑形（Reward Shaping）探针，显著提升 Agent 在面对复杂多分支交互时的稳健度。