哈佛研究揭示 AI 审稿全面超越人类:错误率高达三倍,七维度胜率 100%

AI新闻阅读 0
哈佛研究揭示 AI 审稿全面超越人类:错误率高达三倍,七维度胜率 100%
哈佛大学定量社会科学研究所发布了一项重磅研究,结果显示在论文审稿任务中,人工智能模型 Claude 全面碾压人类专家。在七个关键评估维度上,AI 从未输过人类,且平均评分高出人类约 2.7 分。研究团队集结了哈佛校级教授 Gary King、数据科学主任 Steven Worthington 等顶尖学者,并邀请七位知名期刊前编辑进行盲测。测试对象为 2019 年至 2026 年间提交的 124 篇论文及其对应的 134 份人类审稿意见,对比对象为配备联网搜索功能和严格提示词的 Claude Opus 4.8 模型。在整体胜率上,作为裁判的 GPT-5.5 模型判定所有分出胜负的案例均归 AI 一方。细分到找弱点、评方法、补文献等七个维度,Claude 均保持全胜,尤其在引用事实核查和图表分析两项耗时长任务中优势显著,人类专家在这两方面的平均得分分别为 4.73 分和 2.95 分,远低于 AI。针对实验的严谨性,研究团队进行了多项压力测试。即使将人类意见改写为 AI 风格、仅保留高分部分意见或混合不同模型担任裁判与审稿人,AI 依旧维持压倒性优势。更重要的是,研究人员逐句对照原稿进行错误核查,发现人类专家的平均错误率为 15.9%,而 AI 仅为 5.5%,前者错误率接近后者的三倍。研究还验证了 AI 事实引用的可靠性,核查了所有引用文献的 DOI 或编号,未发现任何虚构情况。这一结果挑战了学术界对于'AI 胡说'的传统担忧。沃顿商学院教授 Ethan Mollick 指出,科学研究范式亟需随之调整,以应对 AI 审稿能力的质变。目前学术界对审稿流程已有变化趋势,Nature 报道显示超过半数研究者私下使用 AI 审稿。ICML 2026 实验也发现,即便在禁止使用 AI 的分组中仍有超两成人违规使用。该研究呼吁期刊组织需重新审视评审立场,并探讨引入官方 AI 辅助审稿的新流程。
哈佛研究揭示 AI 审稿全面超越人类:错误率高达三倍,七维度胜率 100% - SmartAITool Blog