看视频自学成机械大师！西北大学等推出 Video2Skill：流式具身技能发现基准，CLaRe 破解技能库停滞瓶颈

核心背景与行业痛点

当今无论是特斯拉 Optimus、Figure 01 还是科研界的各类双臂机器人，其动作规划能力均牢牢受限于“预制技能库”的牢笼。人类工程师必须预先为机器人编写“抓取（Pick）”、“倒水（Pour）”、“按压（Press）”等有限的技能接口。然而，真实物理世界中的物体材质、形状与交互动力学无限丰富，如果机器人无法像人类学徒一样，通过“观察长篇真实操作视频、自主识别关键动作、并归纳沉淀出新的原子技能”，那么具身智能就永远无法走出实验室温室。尽管多模态视觉大模型（VLMs）在描述单张静态图片或 5 秒简短视频片段上表现出色，但当面对持续涌入的连续多小时未剪辑视频流时，模型能否像人类大脑一样动态构建并维护一个结构化的可复用技能库，此前学术界从未给出过科学的量化答案。

架构亮点与底层机制

针对这一终生自主学习的基石命题，西北大学与 CMU 研究团队正式确立了“流式具身技能发现”（Streaming Embodied Skill Discovery, SESD）理论范式，并推出了里程碑基准 Video2Skill（arXiv:2609.36691）：

1. 连续流式动态技能建库命题（SESD Formulation）：系统要求模型依序观看长视频流，在不具备未来先验信息的前提下，动态维护一个具备持久状态的技能元数据库（Persistent Skill Library），并用该技能库实时指导后续决策；
2. 三大严苛核心能力评测维度：

• 时间边界定位（Temporal Event Localization）：从连续冗长背景流中精准识别物理状态发生变动的起始与终结时间戳；
• 同态物理转换聚合（Transformation Grouping）：跨越不同操作主体、背景光照与受力物体外形，将本质相同的物理位移/形态形变归并为同一个技能类别；
• 复用还是创生判定（Reuse vs. Create Meta-Decision）：面对新出现的交互，精准研判“是否应检索复用库内已有技能”，或是“已有技能不足以表达、必须在库内新建独立技能条目”；

1. 反事实库状态重平衡训练（CLaRe 策略）：针对模型在面对极度不平衡的动作分布时容易将所有动作误并为一个巨型技能的问题，团队提出了 Counterfactual Library-State Rebalancing（CLaRe）微调策略，通过合成反事实的空库与满库对抗样本，显著强化了模型的技能辨别力。

权威 Benchmark 与实测跑分对比

研究团队对包括 Qwen-VL、LLaVA、InternVL 在内的 19 款主流开源多模态基座模型进行了大规模横向与纵向评测，得出了颠覆传统认知的实证发现：

1. 多模态大模型在流式技能发现上近乎“盲目瞎猜”：在未经特殊调优的 19 款模型中，绝大部分在多视频转换聚合上的准确率徘徊在随机猜测水准（Near-Chance Level）；且令人意外的是，模型参数规模从 7B 扩增到数十 B 并没有带来稳定的正向收益；
2. 感知与建库耦合方式的结构性病灶：评测发现，将视觉感知与建库决策一体化端到端输出的模型，极易将完全不同的物理变形粗暴合并为一个通用技能；而先生成文本描述再通过文本更新库的模型，则会由于措辞微小差异导致同一个技能被无休止地重复创建；
3. 触目惊心的“技能库容量停滞（Library Stagnation）”：即使经过全量监督微调后，模型在未见过的全新物理交互面前，虽然能在时间线上框出动作，但建库策略几乎完全丧失了“创生新技能”的胆识，技能库规模被死死锁死在参考标准的 50% 以下，实证了“识别现有知识不足并主动拓展边界”是当今 AI 最大的智能黑洞。

开发者实战落地与开箱指南

Video2Skill 的评测基准代码、数据集与 CLaRe 训练算法已在项目主页（https://andyzworks.github.io/video2skill/）全面开源。对于正在研发机器人具身技能学习、端到端自动驾驶因果分析、以及长视频无监督理解的技术团队，Video2Skill 彻底敲响了“仅靠堆叠参数无法解决流式终生建库”的警钟。开发者在构建具备自主学习能力的具身 Agent 时，必须在模型外部引入严格的物理状态转移差异度门控（State-Transition Delta Gating）与非参数化记忆生长机制，赋予智能体敢于在关键时刻创建全新技能的元认知判断力。