RoboColiseum新赛季发布:Claude Fable 5.2包揽多项第一,但灵巧手仍是模型短板

在RoboColiseum新赛季公布的评测成绩中,Claude Fable 5.2以18.30分的综合得分登顶榜首。该模型在精细操作赛道获得33.04分,在跨本体迁移赛道获得17.99分,均位列第一。然而,即使是综合排名第一的模型,在灵巧手操作赛道的得分也仅为3.73分,成为所有参评模型该项表现的最低点。
RoboColiseum新赛季将机器人日常生活中的真实任务搬入仿真考场,新增了灵巧手操作、全身协同、精细操作与本体迁移四条赛道,共计50个任务。评测不仅考察任务完成的完整度,还重点检验执行效率,包括模型是否能在合理步数内完成动作以及观察推理的次数控制。
四条新赛道聚焦于长程和复杂任务的真实世界映射。灵巧手赛道要求机器人完成挂衣服、颠锅、系垃圾袋等多指协同操作;全身协同赛道考察底盘移动与双臂操作的连续配合,如捡垃圾和擦黑板;精细操作赛道测试对位装配能力,包括给手机充电、拼积木和装轴承;本体迁移赛道则验证同一模型在ARX、AgileX、G1和G2四种不同机器人结构上的适应能力。
榜单汇总了8款Agent和3款策略模型的成绩。除Claude Fable 5.2外,GPT-6 Astra和Claude Opus 5.5分列二三名。在策略模型方面,π₀.₅以16.79分的灵巧手得分领跑该赛道,LingBot-VLA-2.0和GR00T N1.7分别获得10.66分和5.53分,表现均优于Agent中的多数选手。
为防止模型通过“背题”或获取特权信息虚高分数,平台引入了三重防Hack机制:隐藏测试集区分开发调试与正式考核场景;动态抽检在每次提交时更换测试题以检测过度拟合行为;人工审核则用于识别违规操作。同时,Agent与策略模型实行分开榜单管理,并纳入执行效率评分标准。
为了证明仿真评测的可信度,RoboColiseum在未对仿真环境做任何适配调优的情况下,将真实世界训练的模型进行零样本(zero-shot)仿真测试。横跨4款不同机器人本体和22项复杂任务的实验结果显示,仿真与真机任务的得分相关性高达96.86%,表明在仿真中发现的策略和缺陷可以高度可信地迁移到真实机器人。
平台已开放AI可调用的Skills,开发者可通过对话完成数据下载、模型接入及评测发起等全流程操作。随着新赛季开启,四条新赛道和50个复杂任务正式对策略模型和Agent系统研发团队开放,旨在推动大模型在灵巧控制与跨本体迁移领域的技术进步。