首个交互式投影对齐空间推理基准 RoTA-Bench 发布，GPT-5.6-Sol 测试成功率仅 17%

厦门大学与南洋理工大学研究团队发布了首个用于评估视觉语言模型三维空间推理能力的交互式基准 RoTA-Bench。该基准旨在解决模型从二维投影中推断三维几何，并将空间理解转化为精确旋转动作的挑战。RoTA-Bench 构建了由二维矢量图标生成的独特三维物体集合，并通过可逆离散旋转初始化任务，确保测试过程无语义捷径干扰。系统要求模型在包含目标轮廓、当前投影及深度明暗辅助视图的界面中，从 24 种离散旋转动作中选择最优步调以对齐目标。评测数据显示，目前表现最强的 GPT-5.6-Sol 模型在 100 个测试任务中的成功率仅为 17%，其轨迹平均停留在投影交并比 0.50 至 0.63 区间。相比之下，20 位本科生参与的人体实验在涵盖全部测试集的 400 次运行中实现了 100% 的成功率。深入分析揭示了模型与人脑的差异主要集中在旋转方向的选择与角度控制上。人类选择有效旋转方向的比例达 83.91%，而 GPT-5.6-Sol 仅为 58.75%。在角度控制方面，模型的平均误差约为 6.49 度，表明其难以精准预判动作后投影变化以匹配三维姿态。该基准将交互限制为纯旋转操作，以隔离平移、抓取等因素的干扰。数据集包含 674 个任务，其中 100 个组成冻结测试集，其余 574 个用于后续研究。论文及代码已在相关学术平台开放。