南加州大学与 UCLA 推出离散空间状态追踪基准 Grid-Bench：8,928 组可执行测试揭示大模型长链推演严重失真，64 步长轨迹开闭源断崖式分化

核心背景与行业痛点

随着 Coding Agent 与物理仿真智能体承接诸如自动化 CAD 建模、网格图算法优化与游戏环境模拟等复杂任务，模型必须能够理解一系列连续的空间指令（如移动局部区域、对称翻转、连通域重着色、局部求和汇聚），并在脑海中精准维护随着时间不断演变的空间状态配置。然而，现有的多模态评测多局限于单步问答或静态图像理解，无法系统量化大模型在多步长连续空间推演中的状态漂移（State Drift）与累积误差。为此，南加州大学（USC）、加州大学洛杉矶分校（UCLA）与 CMU 等团队联合推出了全可执行的多维空间状态评测基准 Grid-Bench（arXiv:2610.22312）。

架构亮点与底层机制

1. 8 大离散几何操作族与多维网格世界构建：

• 基准定义了 8 种严格可执行的数学与几何变换操作：PAINT（曼哈顿球内着色）、REFLECT（轴对齐双射翻转）、STENCIL（卷积模板模运算加和）、MIX（有界连通域汇聚）、RELABEL（最大连通域重标）、LAYER（边界分层扩展）、MOVE（方向平移）与 COMPRESS（类 2048 几何滑块压缩）；
• 跨越 2D（16×16）、3D（6×6×7）与 4D（4×4×4×4）三大多维离散流形（单元数均为 252 或 256 格），并设立 $T = 0, 1, 8, 16, 32, 64$ 六级历史长度，构建了 8,928 个独立可复现测试例。

1. 确定性参考执行器与逐单元诊断矩阵：

• 每个测试案例均具备 Python 确定性参考运行结果，支持像素级、单元级精确匹配率（Exact-Match）、修改区域准确率（C-Acc）与非修改区域准确率（U-Acc）的多维断错分析。

权威 Benchmark 与实测跑分对比

团队在统一提示词与 128,000 Token 上下文限额下对 GPT-5.6 Sol、Claude 5 Sonnet、GPT-5.4 Mini、GLM-5、Kimi K2.5、MiniMax M2.5 六款前沿模型展开了深度实测（Table 10/11/13/15）：

• 短程推演阶段（$T=1$ 与 $T=8$）：
• 在 $T=1$ 时，GPT-5.6 Sol 取得 183/192 完全精确命中，Kimi K2.5 达到 148，MiniMax M2.5 达到 150，Claude 5 Sonnet 达到 137；
• 中程状态追踪分水岭（$T=16$）：
• GPT-5.6 Sol 保持 98.0% 单元准确率（87/192 完全精确命中）；Claude 5 Sonnet 维持 96.8% 单元准确率（61/192 完全精确）；
• 中型与开源模型出现明显掉队：GPT-5.4 Mini（82.4% 单元准确率，仅 5 题精确）、GLM-5（80.9%，8 题精确）、Kimi K2.5（80.6%，18 题精确）、MiniMax M2.5（64.3%，11 题精确）；
• 长程极端推演考验（$T=64$）：
• 在长达 64 步的连续离散世界演变后，中型模型完全精确预测能力全线崩溃：GLM-5 为 0/192，Kimi K2.5 为 0/192，GPT-5.4 Mini 与 MiniMax M2.5 仅 1 题精确；
• 仅顶级推理旗舰能维持有效预测：GPT-5.6 Sol 斩获 25 题完全精确（81.6% 单元准确率），Claude 5 Sonnet 斩获 14 题完全精确（90.5% 单元准确率）；
• 累计正确解数量对比（Table 11 Combined /768）：GPT-5.6 Sol 以 314 题断层领先，Claude 5 Sonnet 取得 201 题，远超 Kimi K2.5（57 题）、GLM-5（28 题）与 MiniMax M2.5（48 题）。

开发者实战落地与开箱指南

• 开源代码与基准套件：代码、生成流水线与评测工具均已在 GitHub 开源（https://github.com/grid-bench/Grid-Bench）。
• 智能体架构设计启示：实测数据证实，即使参数高达千亿级别的现代大模型，在纯依靠内部自注意力长上下文追踪离散空间演变时，超过 16 步即会累积致命的状态漂移。在设计涉及 CAD 几何编辑、图网络迁移或多步骤物理仿真的 Coding Agent 时，绝对不能依赖 LLM 的隐式记忆，必须挂载外置状态机（External State Machine）或确定性内存快照，由模型输出增量操作指令、由外置解释器维护确定性真实状态。