何恺明团队发布多模态VISTA框架，让AI原生“看见”并回溯视觉历史

近日，由何恺明团队主导的研究成果《VISTA: A Visual Harness for Reasoning in an Interactive World》正式面世。该研究提出了一套名为VISTA的视觉原生Harness框架，旨在解决多模态模型在交互环境中如何利用原始视觉信息进行推理的挑战。

VISTA框架的核心机制在于保留环境的原始视觉信息，而非将其抽象为文字或代码。模型可以直接观察环境、保存每一帧画面，并在推理过程中随时回看、放大细节。这种设计使得视觉经验成为模型可随意调用和反复检查的上下文资源，无需对基础模型进行额外训练。

在ARC-AGI-3交互式视觉推理基准测试中，搭载VISTA的Claude Opus 5.0成功完成了全部25个公开游戏，动作效率得分达到满分100。相较于首次游玩的人类基线，其所用游戏动作数减少了57.4%。同样换用GPT-5.6 Sol模型，也实现了全通关且得分为99。

VISTA通过三个核心组件实现功能：视觉观测负责放大环境画面（如将64×64像素放大至512×512），无损视觉记忆负责完整保存包括动作中间帧在内的所有历史画面，主动视觉检查则允许模型按需调取历史画面并进行裁剪对比。这种机制相当于为模型配备了一套可随时翻阅的视觉档案。

除了视觉档案，VISTA还引入了两份文字笔记以维持长任务中的连贯性：GUIDE.md用于记录跨关卡可复用的规则经验，WORKING.md用于记录当前关卡的状态与计划。当上下文窗口接近上限时，模型会整理交接摘要并进入新窗口，同时保留之前的文字、动作历史及视觉档案。

该框架巧妙地避开了将大量历史图片持续占用上下文空间的问题，默认仅向模型展示最后一帧，中间画面则存入视觉档案供主动调取。VISTA不改变模型本身，而是革新了模型获取、保存和使用视觉信息的方式，利用现有多模态模型即可完成复杂推理。

团队计划将这套方法进一步拓展至浏览器游戏、迷宫和连线题等场景，并将更接近物理世界的具身任务列为后续研究方向。此前在11月，Anthropic已提出过基于文字代码的Harness概念用于编程任务，而VISTA则填补了真实视觉环境中记忆与理解的空白。