港大与清华揭示视频世界模型记忆假象 MIST：前序动作执行失败占比超 70%，误判为记忆遗忘

核心背景与行业痛点

在具身智能、物理仿真与自动驾驶中，视频生成模型常被期望充当物理“世界模型（World Models）”，需要在长序列视频渲染中准确记住此前发生过的环境改变（例如被移动的茶杯、被打开的柜门或被撞击的障碍物）。然而，现有的权威世界模型记忆评测（如 WRBench、MBench）通常只检测视频最后一帧的目标物体状态是否存在。当模型得分很低时，研究人员普遍得出“视频世界模型缺乏长程物理记忆能力”的结论。香港大学多媒体实验室（HKU-MMLab）与清华大学团队在 arXiv:2610.23542 中提出严正质疑：如果模型在中间帧压根就没有执行用户指令中的动作（Execution Failure），最后一帧自然不可能出现预期的物理状态，这根本不是记忆失败，而是执行失败！

架构亮点与底层机制

1. 动作执行与物理记忆解耦评测框架（MIST）：

• MIST 将评测划分为严格的三阶段因果验证链条：① Scene Establishment：验证初始场景与物体是否成功锚定；② Action Execution Verification：利用多模态大模型判定中间帧是否真实执行了指令中的物理动作转换；③ Memory Retention Diagnosis：仅在动作确实执行成功的样本子集上，评测模型在后续多秒视频漫游中是否保持了状态一致性；

1. 执行感知提示与 M3 记忆探针管线：

• 提出了 M3（Memory-augmented Multi-stage Modeling）干预范式，通过显式强化动作过渡区间的动态隐表征，有效将动作执行成功率与长程记忆维持率双向解耦，为世界模型精准定位归因故障根源。

权威 Benchmark 与实测跑分对比

在包含数百组长程视频生成的严苛实验中（Table 17, 18, 19）：

• 故障根本原因归因拆解：
• 实测数据揭示：在主流视频生成基线模型（如 Lingbot、H3 等）在评测套件中未通过的所有“记忆失败”案例中，高达 70% 以上的样本在中间帧完全没有执行目标物理动作；
• 解耦后的真实记忆增益（Table 19）：
• 在 WRBench/40 官方评测套件中，修正执行干扰并引入 M3 架构后，官方 $T$ 得分从 0.452 提升至 0.570（+0.118），视觉保真度从 0.648 提升至 0.755（+0.107）；
• 在显式揭示（Reveal）指标上，得分从 0.372 暴涨至 0.668（相对提升 +0.296 / +79.6%）；
• 在 MBench-T/30 套件上，官方 $U$ 得分由 0.292 提升至 0.446（+0.154）。

开发者实战落地与开箱指南

• 开源项目与代码：官方已开放项目主页（https://hku-mmlab.github.io/MIST/）与 GitHub 仓库（https://github.com/HKU-MMLab/MIST）。
• 世界模型研发建议：构建自动驾驶或具身仿真视频世界模型的团队，在优化模型表现时，切勿盲目堆砌注意力层去提升所谓的“长程记忆力”；应当首先利用 MIST 评估流检查模型对物理动作指令的精确执行（Prompt-to-Action Alignment），只有动作被正确生成，后续的长程环境持久性才有讨论基础。