GPT-6 在三维科学理解测试中仅获 0.53 分,ScienceVision 基准揭示 AI 能力短板

AI新闻阅读 2
GPT-6 在三维科学理解测试中仅获 0.53 分,ScienceVision 基准揭示 AI 能力短板

尽管 GPT-6 Astra 在前不久的 CAD 绘图任务中取得了 95.9% 的高分,但一项名为 ScienceVision 的新基准测试显示,该模型在三维科学理解与推理领域的得分仅为 0.53 分(满分 1 分)。这一结果由 UniPat AI 和视觉推理实验室 Elorian AI 联合开发,旨在填补面向科学领域的三维理解评测空白。

ScienceVision 涵盖生物学、化学、医学影像、机械 CAD 及建筑学五个学科,包含 250 道基于真实三维数据构建的题目。测试要求模型自主操作三维对象进行观察、测量与分析,覆盖 22 个子领域。评测结果证实,即便是在 BenchCAD 中表现优异的模型,在面对需要深度科学推理的三维任务时也存在明显短板。

该基准测试由六十六位专家参与构建,耗时近 500 小时,确保了答案的准确性与专业性。题目设计模仿了各领域专家处理三维源数据的实际操作方式,例如在生物领域隐藏蛋白质仅保留柠檬酸分子测量距离,或在医学影像中通过 CT 切片定位肾脏病灶。

ScienceVision 采用了确定性规则核验答案,摒弃了依赖语言模型作为裁判的模糊评估方式。其数据管线结合了自动化出题与专家审核机制:系统从三维资产库筛选对象生成候选题,专家随后在平台上进行审题、实际测量并记录操作步骤,最后进行审核返修。

目前评测已覆盖 GPT-6 Astra、Claude Fable 5.1、Gemini 4 Argon、Qwen3.8 Max 等十二个前沿大模型,没有任何一款模型能在五个学科领域同时领先。官方开放了测试的原始文件与检视工具入口(https://unipat.ai/blog/ScienceVision),供开发者体验真实的三维检视过程以评估 AI 能力。

GPT-6 在三维科学理解测试中仅获 0.53 分,ScienceVision 基准揭示 AI 能力短板 - SmartAITool Blog