何恺明团队提出NAT-ARC方案 纯视觉模型突破抽象推理测试

何恺明团队最新研究提出NAT-ARC方案，通过纯视觉方法在抽象推理测试ARC-1中取得突破性进展。该方案不依赖大语言模型，而是利用ImageNet上的猫狗花草等自然图像进行预训练，使模型具备视觉理解能力后迁移至抽象格子推理任务。

NAT-ARC在ARC-1测试中，单模型表现达到63.4%的pass@2分数，集成后提升至70.2%。这是首次纯视觉方案接近专用大语言模型系统的水平。ARC作为公认的AI视觉智力测验，要求模型从少量示例中归纳抽象规则并应用于新输入。

传统方法多将格子转换为文本或符号交给语言模型处理，而NAT-ARC创新性地采用ImageNet MAE预训练。该方法通过遮挡图像训练模型复原能力，提取视觉特征后直接处理抽象格子。实验显示，预训练模型在注意力分布上能自动聚焦关键区域，显著提升推理效果。

研究团队发现，视觉模型在match-and-copy和connected-component reasoning两类任务上表现突出，对应自然图像中物体分割和区域识别能力。NAT-ARC最终以0.6B参数模型取得63.4%成绩，集成方案达到70.2%，接近专用LLM系统71.6%的水平。

该研究证实预训练对视觉路线的突破性作用。未预训练模型随参数增大效果反而下降，而加入ImageNet预训练后，模型在不同尺度上均表现出显著提升，验证了视觉方案的scaling潜力。