西安交大提出 AffordSim：将三维可供性引入机器人操作数据生成

针对机器人操作中‘抓哪里’的关键问题，西安交通大学人工智能与机器人研究所及人机混合增强智能全国重点实验室兰旭光教授团队提出了 AffordSim 系统。该系统创新性地引入开放词汇三维可供性预测技术，使其接入仿真轨迹生成流程，旨在让机器人在执行任务前准确判断物体的功能区域，从而为后续动作预留空间。AffordSim 的工作流程首先通过视觉语言模型解析自然语言描述的任务与场景，从资产库中提取物体并组装环境。随后，系统预测物体表面哪些区域支持当前交互需求，并结合运动规划生成可执行的机器人操作示范。这一过程减少了以往依赖人工指定接触位置或通用抓取估计器带来的局限性。研究团队构建了覆盖 50 项任务、7 类操作技能及 5 种机械臂的评测基准，并提供了包含 500 余个刚体与关节物体的资产库支持。基准任务按功能区域约束程度分为 Easy、Medium 和 Hard 三个难度层级，以评估不同接触位置选择策略的效果。实验数据显示，在中等和困难难度的任务中，AffordSim 的轨迹采集成功率显著优于通用抓取过滤方法及人工调节基线。为了提升生成数据在实际应用中的迁移能力，AffordSim 还在域随机化方面进行了优化。系统支持将仿真背景替换为咖啡角、图书馆或工厂工作台等真实场景重建结果，并能随相机视角变化联合渲染背景，同时保持机器人及操作对象的一致性。此外，数据生成还支持物体位姿、表面纹理及光照噪声的随机化，以增强模型的鲁棒性。该研究成果通过 arXiv 发布了论文（https://arxiv.org/abs/2604.11674），并在项目主页（https://affordsim-platform.github.io/AffordSim.io/）和 GitHub 代码仓库（https://github.com/AffordSim-Platform/AffordSim）提供了开源资源，供社区进一步探索机器人操作数据的自动生成与评估。