AWS 与 UIUC 联合开源 Lean4AgenticRL：形式化验证多级过程奖励，TerminalBench 跑分高达 77.3%

核心背景与行业痛点

强化学习（RL）已成为提升大语言模型复杂软件工程（SWE）与系统终端交互能力的核心引擎。然而，当前主流的智能体 RL 算法普遍只依赖高层结果奖励（Outcome Rewards，如代码最终是否通过全部单元测试）。这种极度稀疏的二值信号存在严重弊端：当 Agent 在复杂的数十步工具调用中仅因某一步语法错误或中间状态偏离而失败时，模型完全无法获得具有辨识度的梯度指导；而盲目引入启发式过程奖励又极易诱发奖励黑客（Reward Hacking）。AWS 与 UIUC 团队在 arXiv:2610.22448 中给出了严密的形式化解决方案——Lean4AgenticRL。

架构亮点与底层机制

1. 基于 Lean4 依值类型系统的多级过程形式化校验：

• 首次将智能体开放式动作空间形式化编码至 Lean4 交互式定理证明器中；
• 构建三层解耦的过程奖励体系：① 底层工具调用合法性校验；② 中层工作流阶段转移（Workflow-Stage）状态一致性证明；③ 高层任务目标闭环验证；

1. 工作流阶段归一化 GRPO 算法（Stage-Normalized GRPO）：

• 针对长轨迹多步骤探索中方差过大的问题，改进了群组相对策略优化（GRPO），在每个形式化工作流阶段内独立归一化优势函数，有效防止早期探索失败污染后续优质策略；

1. LAR-9B 与 LAR-27B 智能体模型家族：

• 基于开源开源模型微调并系统验证，在保持通用语言能力的同时大幅精进终端精准控制力。

权威 Benchmark 与实测跑分对比

研究在业内两大严苛的终端与代码智能体基准上进行了系统测试（Table 1, Figure 1, Appendix D）：

• TerminalBench-2.1 终端环境评测：
• LAR-27B 斩获 77.3% 的卓越胜率，位列同尺寸模型全球第一；
• 较未经 Lean4AgenticRL 训练的原始基座模型平均提升 +9.89%；
• 相比同参数规模下已知最强竞争模型，保持 +5.07% 的显著领先优势；
• SWE-bench 复杂软件工程修复测试：
• 在跨多个 Python 工业级代码库的端到端修复中，LAR 系列展现出远低于常规 RL 模型的语法循环死锁率与非法工具调用率；
• 消融实验（Ablation Studies）：
• 移除 Lean4 工作流中间阶段奖励后，策略收敛速度下降超过 42%，证实可验证的形式化状态约束在长程智能体训练中的决定性作用。

开发者实战落地与开箱指南

• 论文与技术细节：形式化定理证明脚本与环境定义详见 arXiv:2610.22448；
• Agentic RL 训练实践建议：该研究指明了高质量 Agent 微调的关键演进路径——不再盲目堆砌昂贵的人工标注或纯结果二值评估，而应在终端沙盒中引入像 Lean4 这样的轻量确定性定理检查器对执行轨迹进行语义级形式化校验，既杜绝了中间过程的幻觉失控，又大幅加速了策略模型的梯度收敛。