人类 100% 满分而 GPT-5.6-Sol 仅 17%！厦大 RoTA-Bench 揭露 3D 交互空间盲区，OpenSAE 二阶特征引导令控制保真度跃升至 0.779

核心背景与行业痛点

尽管前沿视觉语言模型（VLM）在静态图像问答上屡创高分，稀疏自编码器（SAE）也在拆解大模型单特征语义（Monosemanticity）上取得长足进展，但当迈向“多步闭环 3D 物理交互控制”与“多特征组合干预（Multi-Feature Steering）”时，现有范式暴露出深层认知断层：第一，VLM 能否将连续的 2D 视觉观测转化为真正的 3D 几何心智旋转，并在有限步数内通过视觉反馈完成精确姿态对齐？第二，当开发者同时激活或抑制多个 SAE 稀疏特征来精细控制模型行为时，这些线性解码特征在下游网络中的真实行为效应究竟能否简单线性相加？

架构亮点与底层机制

今日荣登 Hugging Face 热榜前列的 RoTA-Bench（arXiv:2610.17665，厦门大学纪荣嵘 MAC-AutoML 团队，200 赞）与 OpenSAE 行为可组合性研究（arXiv:2610.21261，UW-Madison Frederic Sala 团队，104 赞），分别构建了严格的数学度量与交互测试床：

• RoTA-Bench：基于可逆 3D-2D 投影对齐的闭环空间控制基准：构建了一套全自动化的保剪影（Silhouette-Preserving）3D 建模管线，从 2D 图标生成 3D 几何体并采用可逆随机旋转初始化（100% 保证在动作预算内可解），共生成 674 个交互式任务及 100 个分层测试任务。智能体需根据目标 2D 剪影与当前旋转物体的观测视图，在有限步数内连续选择三维旋转动作以恢复目标投影，重点考察跨步视觉反馈修正与姿态空间收敛能力。
• SAE 可加性残差（SAR, SAE Additivity Residuals）与二阶协同建模：为严谨度量 SAE 特征子集在联合干预时的非线性耦合效应，作者定义了 SAR 指标——在独立特征子集采样下，总体 SAR 精确等于高于指定交互阶数的归一化交互能量，并为最优低阶近似的联盟排序误差（Coalition Ordering Error）提供严格理论上界。通过将学习到的 SAE 坐标系与同一子空间的保和随机旋转（Sum-Preserving Random Rotations）进行对照，首次剥离出归属于 SAE 表征本身的可组合性与下游计算诱导的非线性。

权威 Benchmark 与实测跑分对比

• RoTA-Bench 揭示 83 个百分点的人机鸿沟与“图像空间欺骗”：在分层测试集上，20 名人类本科生受试者完整覆盖测试集 4 轮，取得了 100% 的完美通关率；相比之下，前沿旗舰模型 GPT-5.6-Sol 的任务成功率仅为 17%！深度归因揭示了三大症结：（1）2D 像素重叠与 3D 真实姿态背离：在相同状态匹配下，模型出现“2D 剪影重叠度看似提升、实则 3D 姿态角误差恶化”的比例高达 19.4%（接近人类 10.9% 的两倍）；（2）高度依赖交互历史实现精细控制：一旦移除多步交互历史上下文，模型高达 96.8% 的动作会退化为粗糙的 30 度大步长盲目试探，成功率进一步断崖下跌。
• OpenSAE 横跨 18 组实验证明二阶交互关键增益：在全部 18 种模型与行为配置中，学习到的 SAE 特征坐标的一阶残差均显著低于同子空间保和随机旋转，证实 SAE 确实捕获了相对可组合的行为基元；然而特征效应并非纯线性可加——引入二阶成对交互项（Pairwise Terms）在全部 18 个设置中均提升了留出集联盟排序精度，甚至击败了参数量匹配的随机三阶模型。在联合特征干预（Combined Steering）实测中，二阶成对建模将排序保真度（Rank Fidelity）从 0.5874 大幅拉升至 0.7790，并将排序误差（Ordering Error）从 0.1444 压降至 0.0606（误差降低 58.0%）。

开发者实战落地与开箱指南

两项工作均已开源完整代码与评测工具链：多模态与具身评测团队可克隆 https://github.com/MAC-AutoML/RoTA-Bench 或直接在 ModelScope 在线 Studio 体验 RoTA-Bench 的 3D 旋转对齐环境，重点优化 VLM 的多步历史保留与显式 3D 欧拉角状态估计；从事大模型可解释性与激活引导（Activation Steering）的开发者，可访问 https://github.com/OpenSAE/SAE-Behavioral-Compositionality 使用 SAR 评估工具与二阶成对交互代理模型，在组合多个安全/风格 SAE 特征时避免一阶线性叠加引发的引导失效。