大模型真的会从经验中学习吗？开源基准 Learn2Play-Bench 发布：揭开智能体陌生规则探索真相

核心背景与行业痛点

随着智能体被寄予自主解决现实复杂问题的厚望，业界广泛认为给大模型赋予长上下文与工具调用能力，其就能像人类一样‘在实践中积累经验、举一反三’。然而，这一假设在科研验证上长期面临严重的方法论挑战：

1. 预训练记忆污染（Data Contamination）掩盖真实能力：无论是 HumanEval、SWE-bench 还是常规操作系统基准，环境逻辑（如 git 命令用法、标准库 API）在大模型训练阶段已被读过成百上千次。模型高分往往源于‘检索式背题’而非‘从交互中现场学会’；
2. 陌生环境适应性黑盒：当把智能体置于规则未曾见过、甚至与常识相悖的全新业务系统时（如定制化的工业自动化指令集、私有协议），Agent 往往迅速陷入混乱与无效重复尝试；
3. 缺乏衡量经验留存机制有效性的定量工具：对于‘应该存完整执行日志，还是让大模型定期做摘要总结’这一经典工程选型，业内始终缺乏客观公平的量化对照证据。

架构亮点与底层机制

为了纯净且严苛地检验智能体从零学习的能力，研究团队研发了 Learn2Play-Bench（arXiv:2610.08215，开源仓库 github.com/liushiliushi/Learn2Play-Bench）：

1. 反直觉未知规则沙箱矩阵（Novel Rule World Engine）：基准精心设计了数十款文本冒险沙箱，其中物理法则、因果关系与胜利条件均经过特殊置换。例如在某个世界中，跳跃可能导致物体下沉，向后移动反而触发前行。智能体无法依赖常识直觉，必须建立纯粹基于‘尝试 -> 观察反馈 -> 建立假设 -> 验证’的科学探索循环；
2. 多模态经验保留机制对照验证（Experience Management Protocols）：基准系统性地对比了不同经验沉淀架构，涵盖原生无记忆基线、模型自生成抽象规则摘要（Rule Summarization）以及保留原始完整动作轨迹（Full Raw Log Retention）；
3. 智能体脚手架（Agent Harness）解耦评测：基准将底层 LLM 基座（如 Claude-3.5-Sonnet、GPT-4o、Llama-3）与外部调度骨架（包括状态解析器、反思触发器与规划器）进行独立正交评测，精准测量工具链对学习表现的边际贡献。

权威 Benchmark 与实测跑分对比

在跨越主流前沿模型的大规模实测中，Learn2Play-Bench 产生了多项对学术界与工业界极具震撼性的发现：

1. 原始日志保留全面碾压抽象规则摘要：在未知规则探索中，给 Agent 喂入未压缩的完整历史动作与环境回显，其最终通关率与规则发现速度大幅领先于经过大模型自主‘浓缩归纳’的摘要系统。原因在于大模型在做摘要时极易过早剪除自认为‘无关’但实际上至关重要的偶然试错细节；
2. 脚手架架构决定论（Harness > Backbone）：实验数据显示，针对未知环境专门优化了探索策略和反思逻辑的先进 Harness，能够让较小参数规模的开源模型在分数上超越直接使用原生 Prompt 的顶级商业闭源模型，证明外部工程框架是决定 Agent 经验转化效率的关键变量；
3. 人类与 Agent 仍存在显著探索鸿沟：人类测试者在面对反常识规则时表现出高度自适应的假设生成与跨维度尝试，而现存所有主流 LLM Agent 探索分布高度同质化且峰值分数显著低于人类平均线，暴露出当前大模型在深层因果归纳上的本质短板。

开发者实战落地与开箱指南

Learn2Play-Bench 代码库与基准评测套件已在 GitHub（github.com/liushiliushi/Learn2Play-Bench）开源并提供详尽的 Leaderboard 排行榜提交规范。这项研究为从事自主 Agent、自动化探索机器人以及私有系统迁移的研发人员敲响了警钟：在设计 Agent 记忆系统时，切勿盲目追求让模型把历史记录‘压缩提炼成小卡片’，高价值的试错上下文必须以结构化原始证据的形式予以完整留存；同时，团队应当把研发精力重点投入到高效的 Agent Harness（探索调度机制）上，而非单一押注昂贵的模型参数扩容。