浙大 REAL 开源 ViSkill：打破文本线性化桎梏！视觉原生技能自进化驱动 VLM 智能体成功率攀至 91%

核心背景与行业痛点

随着多模态大模型（VLMs）在终端自动化、机器人控制与复杂环境探索中的普及，如何让智能体在数万步试错中形成“策略记忆”成为核心技术瓶颈。目前主流的 Agent 技能框架（如 Voyager、GITM 等）普遍依赖将历史解题经验转化为纯文本文档。然而在面对真实的二维网页布局、CAD 工业制图或迷宫网格导航时，文本描述存在天然缺陷：将图像中的像素邻近性、遮挡关系与运动向量转化为文字描述时，不仅会引发巨额的 Token 消耗，更会丢失精密的几何拓扑结构；此外，以往尝试引入视觉线索的研究往往将“技能构造”与“策略优化（RL）”割裂为两个独立流程，导致智能体无法在强化学习的梯度更新中协同进化其视觉技能库。

架构亮点与底层机制

针对空间信息被文本过度稀释的行业顽疾，浙江大学 REAL 实验室团队构建了首个原生多模态技能闭环体系 ViSkill（arXiv:2610.12403，开源项目 ZJU-REAL/ViSkill）：

1. 复合视觉技能卡（Composite Visual Skill Cards）：ViSkill 摒弃了纯文本日志，将高价值的决策片段沉淀为包含多帧关键视觉特征、局部几何热力图与动作向量叠加的“视觉卡片”。VLM 智能体无需阅读冗长的文本 Prompt，即可利用原生视觉注意力机制对齐当前画面与历史成功状态；
2. 检索引导的推理与奖励塑形双重驱动：系统在推理前向传播中检索相似的视觉技能卡以约束候选动作空间；在强化学习反向传播中，检索到的视觉卡片充当环境内在奖励（Intrinsic Reward），引导策略网络朝着符合空间拓扑的方向优化，极大缓解稀疏奖励下的冷启动困境；
3. 技能沉淀与策略提升的自增强飞轮：随着策略模型探索能力的提升，新产生的超越历史水平的高质量视觉轨迹会自动触发蒸馏压缩算法，作为新卡片更新至向量技能库，使技能库质量与模型控制精度形成正向螺旋反馈。

权威 Benchmark 与实测跑分对比

研究团队在涵盖经典空间逻辑规划与连续移动控制的综合基准上展开了极限实测：

1. 空间决策成功率飙升至 91%：在极具挑战的 Sokoban（推箱子）、FrozenLake 与 PrimitiveSkill 基准测试中，ViSkill 取得了 0.89 的综合任务成功率；引入视觉冷启动初始化后，成功率进一步攀升至 0.91，显著超越包括商用前沿闭源多模态模型以及 SOTA 开源 VLM 基线；
2. PPO 训练收敛速度提升数倍：得益于视觉技能卡提供的精准空间内在奖励塑形，ViSkill 相比未挂载视觉技能的标准 PPO 算法，达到同等及格线所需的交互采样步数缩减了 60% 以上；
3. 跨环境拓扑的零样本迁移韧性：在测试未见过的网格尺寸与随机障碍物分布时，依赖文本描述的基线模型及格率发生断崖式下跌，而 ViSkill 凭借对底层视觉不变性（Visual Invariance）的抓取，依然保持了超过 82% 的高成功率。

开发者实战落地与开箱指南

浙大团队已在 GitHub 全量开源了 ViSkill 的架构实现与预训练权重（ZJU-REAL/ViSkill）。对于正在开发自动化 GUI Agent（如网页爬虫、操作系统控制助手）或具身空间导航系统的工程团队，ViSkill 带来了极为迫切的架构启示：切忌在系统设计初期把屏幕截图盲目转化为 OCR 文本或长篇自然语言汇报。工程架构应当拥抱“视觉原生流”：将关键界面操作（如表单填写、控件点击、复杂窗口拖拽）截取为紧凑的视觉状态转移卡片，构建可检索的多模态索引向量库，以视觉注意力直接引导 Agent 的点击坐标规划，从而打造兼具极致响应速度与高鲁棒空间感知的高阶多模态智能体。