Meta新模型Muse Wonder实测翻车:刷榜质疑引发争议,官方回应与短板并存

AI新闻阅读 1
Meta新模型Muse Wonder实测翻车:刷榜质疑引发争议,官方回应与短板并存

近日,Meta正式发布了其最新一代大模型Muse Wonder及完整版Muse Wonder Full。官方声称该系列模型在多项前沿性能榜单中超越OpenAI的GPT-6 Astra和Anthropic的Claude Opus 5.5,特别是在软件工程领域取得了显著突破。

然而,模型开放API后立即涌入大批开发者进行实测,结果却发现表现与官方宣传数据存在巨大反差。许多测试显示Muse Wonder在特定任务如3D游戏演示中表现糟糕,甚至不如早期版本或其他主流模型,引发了关于其是否仅通过刷榜优化指标的质疑。

面对质疑,Meta首席AI官Alexandr Wang承认团队在3D演示游戏方面缺乏针对性训练,但强调模型并非单纯为了应试。不过,有分析指出这种表现反映了模型泛化能力的不足,因为视频生成任务本身也依赖于代码能力。

尽管存在短板,Meta在其官方博客中详细列出了Muse Wonder的杀手锏,包括在个人超级智能指数测试中以59.1分领先对手,以及在自动化流程测试AutomationBench中取得高分。此外,其独有的主动记忆和专注功能也在多轮交互任务中展现出较强韧性。

在长周期软件工程任务SWE-Marathon测试中,Muse Wonder Full以57.5分大幅领先竞争对手最高分46.3分,被视为构建大型软件项目的有力工具。同时,在法律垂直领域Harvy法律智能体测试中,其得分13.1分也远超其他模型。

针对外界关于过度刷榜的批评,Meta官方发布了计算扩展图表数据,证明模型在未针对性训练的陌生任务上具有显著的泛化能力提升。尽管官方坚称这是基础底座能力的体现而非应试技巧,但测试中暴露出的部分极客任务和知识储备上的劣势仍需进一步验证。

Meta新模型Muse Wonder实测翻车:刷榜质疑引发争议,官方回应与短板并存 - SmartAITool Blog