ChatGPT破解千禧难题却难复现论文，复现率仅13.98%

OpenAI近期在数学领域取得重大突破，其AI模型仅用88小时便攻克了千禧年七大数学难题之一的N-S方程。随后又发布722篇数学手稿，涉及三个千禧难题。然而在UniPat AI的PaperBenchX测评中，GPT-6 Astra在93个论文复现任务中完整复现率仅为13.98%。

PaperBenchX测评构建了跨电磁、光子、化学等12个领域的93个复现任务，包含3168条专家校验评分项。测评要求Agent在隔离环境中重建科学流程，验证结果需通过重跑工作流确认。结果显示，模型虽能生成合理结果，但完整复现成功率不足七分之一。

菲尔兹奖得主联名公开信指出，将数学问题解决作为基准测试存在错位问题，影响科学共同体发展。PaperBenchX团队强调，可靠复现需确保科学流程的正确性，而非仅关注数值匹配。测评结果揭示AI在跨学科科学复现能力上的局限。

测评数据显示，建模与执行环节平均得分分别为62.70%和61.84%，验证环节仅42.80%。交互轮数与得分无正相关，前期决策质量对复现结果影响显著。UniPat AI开源12个测试任务，维护81个封闭测试任务以保障评测有效性。

当前AI在科学复现中面临核心挑战：如何在复杂科学环境中建立可验证的流程。PaperBenchX测评首次量化了AI与General AI Scientist之间的差距，为评估AI科研能力提供新基准。