终端智能体递归自进化！Terminal-RSI 交替轨迹自重写与 Critic 继承策略精炼：Terminal-Bench 2.1 狂飙至 86.52%

核心背景与行业痛点

在系统运维、容器排障与自动化软件编译等真实终端（Terminal）场景中，智能体需要通过数十轮 Bash 命令下发与标准输出（stdout/stderr）解析完成闭环任务。然而，传统强化学习在处理长程命令行轨迹时面临两大核心痛点：其一，当智能体在长链路中仅完成局部修复但最终验证失败时，稀疏的二元终端奖励无法将阶段性有效操作转化为正向梯度更新；其二，终端环境中夹杂着大量冗长的日志输出（Observation Tokens），标准广义优势估计（GAE）在跨轮次传播价值信号时极易被海量非策略生成的观测 Token 稀释，导致信用分配失真与多阶段训练遗忘。

架构亮点与底层机制

为打通从局部进展到严格通关的自进化闭环，研究团队提出了 Terminal-RSI 框架，构建了软硬件协同的五阶段递归优化管线：

1. 递归自重写（RSR）与递归策略精炼（RPR）交替演进：模型以 Qwen3.8-27B 为基座，交替执行两阶段精炼（RSR-1 -> RPR-1 -> RSR-2 -> RPR-2）。RSR 阶段对已验证轨迹进行去噪、裁剪冗余排错弯路并重构紧凑执行链路；RPR 阶段则通过跨阶段继承预热后的价值评论家网络（Critic Handoff）与阶段自适应学习率，稳步提升在线策略探索上限；
2. 轮次边界跳过观测优势估计（TB-GAE）：针对终端日志过长导致信号衰减的问题，专门设计了 Turn-Boundary Skip-Observation GAE，在保留动作 Token 细粒度基线的同时，直接跨越环境返回的海量观测 Token 仅在交互轮次边界（Turn Boundaries）施加折扣衰减，确保长程因果信用精准回传；
3. 双层混合奖励塑形（FDR + SPR）：引入任务族稠密奖励（Family Dense Reward）校准不同类型运维任务的语义进度，并配合成功优先奖励（Success-Prioritized Reward）将有界局部加分与最终严苛验证完全隔离，防止模型通过刷局部检查点发生奖励黑客（Reward Hacking）。

权威 Benchmark 与实测跑分对比

在涵盖主流终端基准与超长程极限测试的全面评估中，Terminal-RSI-27B 创下同等规模开源模型的最强表现：

• 全系列 Terminal-Bench 统治级表现：在经典的 Terminal-Bench 2.1 上达到 86.52%，在极具挑战的 Terminal-Bench Hard 上斩获 79.00%，并在新一代高难度基准 Terminal-Bench 3.0 与 4.0 上分别取得 16.95% 与 19.84% 的优异成绩；
• 超长程任务（LHTB）破零突围：在长程终端基准 LHTB 上，过程奖励得分从 0.21 大幅跃升至 0.37，严格端到端通关数从基座的 0/46 突破至 5/46；
• 软件修复真实增益：在 SWR100 基准测试中，任务一次性解决率从 3.00% 翻倍至 6.00%，证明递归交替范式能逐轮沉淀发现的排错技能。

开发者实战落地与开箱指南

工程团队在训练与部署自主运维或 CLI 编程智能体时可直接借鉴 Terminal-RSI 的核心算子：

• 强化学习训练管线改造：在基于 veRL 或 OpenRLHF 训练多轮 Bash/CLI 智能体时，务必将标准 Token-level GAE 替换为 TB-GAE（即对 role=tool/observation 的 Token 掩码跳过 $\gamma \lambda$ 指数衰减），可立即改善 32K+ 上下文下前序关键命令的梯度信噪比；
• 轨迹自重写清洗流水线：在收集线上 Coding Agent 成功工单后，先运行离线 RSR 重写模块剔除无效的 ls/cat 试探步，再投入下一轮 SFT 与 RL 迭代；
• Critic 跨阶段热启动：多轮迭代切勿每次重置 Critic 头部权重，保持 Critic 跨阶段继承可显著抑制 RL 初期的策略坍塌。