底座模型冻结也能自进化！GUI-HARVEST 开源图形智能体进化架构：OSWorld 狂飙 12.3 分，跨平台迁移 GPT-5 涨 13.8%

核心背景与行业痛点

当前学术界与工业界在优化操作系统 GUI 智能体（如操作 Windows/macOS/Linux 的 Computer-Use Agents）时，主要精力几乎全部倾注在底座视觉语言模型（VLM）的二次微调或强化学习（RL）上。然而，微调大型 VLM 成本极高且周期漫长；而在真实软件交互中，决定智能体成败的往往是包裹在模型外部的“执行治理架构（Executable Harness）”——它负责决定如何给模型喂截图、如何把模型的坐标指令转换为系统鼠标点击、如何检测点击是否生效、以及在窗口弹窗被遮挡时如何触发重试。以往的 Harness 优化全凭工程师手动“打补丁”，缺乏一套能够让系统在运行中“自我诊断、自我重写调度代码”的自动化自进化机制。

架构亮点与底层机制

针对这一制约端到端桌面智能体工业进化的瓶颈，研究团队推出了全自动代码级 Harness 进化器 GUI-HARVEST（arXiv:2610.00948，代码开源于 GaryYang12345/GUI-HARVEST）：

1. 动作意图与前后截图状态转移对齐（Visual Effect Grounding）：系统不仅读取模型的文字思考，更毫秒级比对动作执行前后的真实操作系统截图差异，将诊断牢固锚定在“点击后下拉菜单是否实际弹出”、“文本输入框是否获得光标焦点”等具体界面跃迁上；
2. 多轮重复运行联合证据单元（Joint Evidence Unit via Within-Task Comparison）：针对操作系统中由于网络加载延迟、焦点抖动带来的执行随机性，GUI-HARVEST 将同一任务的多次运行视为一个联合证据集，通过横向对比成功与失败轨迹之间的细微行为差异，精准定位导致失败的核心诱因；
3. 复发模式至有界源码编辑映射（Bounded Source-Code Edits）：框架在识别出具有普适性的复发失败模式（如：长下拉列表缺少滚动探测、高 DPI 下坐标偏移）后，自动调用代码生成机制，对 Harness 的 Python 源码直接生成有边界的局部代码补丁，并在沙盒中反复执行校验其预期行为效应。

权威 Benchmark 与实测跑分对比

研究团队在公认最严苛的真实桌面操作系统基准 OSWorld-Verified，以及跨平台的 WindowsAgentArena 上展开了前所未有的全景验证：

1. 全系开源底座性能集体暴涨：在 6 款通用开源模型与 GUI 专用大模型上，保持底层神经网络权重完全冻结的前提下，GUI-HARVEST 驱动的 Harness 进化带来了全面的性能跃升，其中 Qwen3-VL-32B-Instruct 在全套任务上的得分直接暴涨 12.33 个百分点；
2. 惊人的跨基准与闭源巨兽零样本迁移（GPT-5 +13.87%）：最为引人注目的是，在 Linux 环境下（OSWorld）由开源模型自进化生成的这套 Harness，在完全不经任何二次微调的情况下，直接“原装打包”迁移部署至微软 Windows 系统基准 WindowsAgentArena，居然让最顶级的商业模型 GPT-5 在 50 步极限长程任务中的通关率狂飙 13.87 个百分点；
3. 大幅击败 Self-Harness 与 Meta-Harness 基线：在相同底座与相同初始框架的对比实验中，GUI-HARVEST 在泛化能力与收敛稳定性上均大幅碾压了现存的前沿自进化基线，实证了基于视觉前后差异与代码级重构的巨大优越性。

开发者实战落地与开箱指南

GUI-HARVEST 的完整优化引擎、OSWorld 适配器与自动化源码编辑模块已在 GitHub（https://github.com/GaryYang12345/GUI-HARVEST）完全开放。对于正在开发桌面自动化、端侧操作助手、跨软件 RPA 平台的开发团队，GUI-HARVEST 提供了一条不需要训练 GPU 集群即可大幅提升智能体战力的“四两拨千斤”之路。开发者只需在系统架构中接入 GUI-HARVEST 的运行探针，即可让智能体在每天日常处理真实用户任务的过程中，自动复盘踩坑轨迹，自动修改底层的调度、重试与视觉解析代码，实现真正安全、可解释且零权重污染的代码级自进化。