MLE-Bench 奖牌率从 37.9% 飙至 72.7%！上海 AI Lab 开源 35B MoE 机器学习工程智能体 MLExpert，追平 Kimi-K3 与 GLM-5.3

核心背景与行业痛点

让大模型自主完成端到端机器学习工程（MLE，包括特征工程、模型架构设计、训练脚本编写与根据验证集反馈迭代调优），是实现 AI 自我演进（AI4AI）的核心抓手。然而，长程 MLE 实验存在两大训练难题：第一，单次模型训练实验耗时昂贵，且每次实验结果往往是由前序十几个连续代码修改与超参决策共同决定的；第二，传统强化学习必须等待整条数十小时的轨迹跑完才能更新策略，难以从中间实验结果（Intermediate Outcomes）中高效提取监督信号。

架构亮点与底层机制

上海 AI 实验室（InternScience）团队推出了 MLExpert（35B MoE） 及其配套完整后训练体系：

1. Kaggle-MLE Factory 与分层智能体 SFT：构建了自动化生成可执行机器学习竞赛任务的工厂与模型自主交互 Harness，通过结果导向的分层监督微调（Hierarchical Agentic SFT）将通用工具调用与编码能力迁移至 MLE 科学实验流；
2. 窗口化交互强化学习（Windowed Interaction RL, WIRL）：打破整条轨迹共享单一奖励的局限，WIRL 将连续两次实验结果之间的多轮编码与配置决策切分为一个独立的“执行窗口（Execution Window）”，并赋予基于中间实验指标增量的共享奖励；
3. 异步轨迹采集与在线策略修正：支持在超长 MLE 实验轨迹尚未彻底结束前，利用已完成的执行窗口异步执行策略更新与离策略校正。

权威 Benchmark 与实测跑分对比

在权威机器学习工程与科研基准测试中，仅 35B 规模的 MLExpert 展现出跨量级的统治力：

• MLE-Bench Lite 奖牌率暴涨近一倍（37.9% -> 72.7%）：将基座模型的平均竞赛奖牌获取率从 37.9% 大幅拉升至 72.7%，以轻量级 35B MoE 体量直接追平参数量庞大的前沿旗舰模型 Kimi-K3 与 GLM-5.3；
• 跨领域泛化至 Agent 脚手架与算法优化：在从未针对性训练的 NatureBench Lite、智能体脚手架自动优化（Agent Scaffold Optimization）以及通用算法优化任务上，MLExpert 均取得了显著的正向迁移增益。

开发者实战落地与开箱指南

项目代码、交互 Harness 与模型已在 GitHub 开源（https://github.com/InternScience/MLExpert）：

• 部署私有 AutoML 与脚手架调优智能体：企业算法团队可在本地单机多卡上部署 35B MoE 的 MLExpert，不仅可用于自动化打榜特征工程与模型调参，更可直接指向团队自身的 Agent Harness 仓库，让其根据基准跑分反馈自动迭代优化提示词与工作流代码。