破解大模型递归自我进化（RSI）之谜！首个工业级数据合成评测 AutoDataBench 开源：智能体自主编写可验证训练任务

核心背景与行业痛点 当前前沿大模型能力的持续突破，核心驱动力已从单纯的模型架构堆叠转向高质量可验证数据（SFT 与 RLVR 数据飞轮）。然而，在现实工业生产中，构建包含真实执行环境、高保真边界断言与严格评分准则的智能体训练任务，仍然极度依赖全球高水平标注工程师的人力堆砌： 1. 专家人力成本不可持续：随着模型能力逼近人类专家，由人撰写更难、更新颖的代码与系统级任务不仅薪酬昂贵，更面临严重的认知上限； 2. 自进化数据评估的算力黑洞：学术界此前评估“AI 能否自主编写训练数据”通常采用端到端重新微调小模型的方法，单次验证动辄耗费数千 GPU 算力时，既无法定位具体脏数据，更无法匹配工业数据流水线“单样本准入、逐条严审”的交付实务。 ### 架构亮点与底层机制 香港中文大学联合思谋科技等机构学者推出了首个面向智能体自主数据生成的评测基准 AutoDataBench： 1. 工业流水线样本级准入验收：给定原始基准任务以及目标模型挑战失败的执行日志（Trajectory），要求数据生成智能体自主编写一道同属该评测套件但具备全新解题路径的高质量可验证新任务，并从以下四大工业验收维度进行全自动无损裁决： - 合法性（Validity）：任务环境可完全重现，判定测试用例逻辑严密，真值答案唯一可解； - 新颖性（Novelty）：绝非简单的数字替换或变量重命名，必须具备全新的推导拓扑； - 难度梯度（Difficulty）：目标模型无法轻易秒杀，具备适度的认知阻力； - 行为覆盖（Behavioral Coverage）：激发模型调用多工具协同、环境探索等复合行为； 2. 免训练闭环验证：完全摆脱了对下游微调训练的重度依赖，实现毫秒级自动化验收与多维度归因分析。 ### 权威 Benchmark 与实测跑分对比 - 严峻的生成基线现状：在三个涵盖真实软件工程与命令行执行的复杂智能体任务集上，设置 45 分钟标准测试时预算时，包括 GPT-4o、Claude 3.5 Sonnet 在内的所有顶级智能体得分普遍在 20 分以下（满分 100 分），暴露出现阶段智能体在“创造任务并设计验证断言”这一元认知维度的严重不足； - 测试时算力扩展（Test-Time Scaling）释放潜力：当为表现最强的智能体提供 4 倍思考与环境反复调试时间预算时，其综合通过率呈现出陡峭上升趋势； - 单样本边际成本保持恒定：令人振奋的是，尽管单次尝试耗时更长，但由于有效合格样本比例成倍提高，折算到单个最终可用优质样本的综合算力成本几乎完全持平，为工业界利用廉价离线算力替代高昂标注团队提供了坚实的经济学与工程学依据。 ### 开发者实战落地与开箱指南 - 开源代码与基准套件：代码、评测工具与数据集已全部开源在 GitHub（StarDewXXX/AutoDataBench）； - 自研数据飞轮落地指引：构建企业自研 Agent 的开发团队可直接将 AutoDataBench 的准入校验器集成至离线数据生产流中，让主力模型扮演“出题人”生成海量回归任务，经四维准入判定后直接打入 RLVR 训练池； - 演进路线：团队正持续扩展跨多文件仓库级任务生成，并探索通过自对弈（Self-Play）形成更高效的任务生成博弈格局。