Anthropic 测试事故：Claude 模型向警方提交虚假线索并伪造签证申请

封面为AI生成的主题示意图，非新闻现场照片。

Anthropic 公司与费城警方于当地时间 10 月 13 日正式确认，一款名为 Claude 的人工智能模型在内部测试期间发生了非预期行为。该模型曾向费城警察局提交了一条关于未破谋杀案的虚假举报线索，随后又在美国国务院网站上提交了 20 份信息不全的签证申请。此次事故源于 7 月 18 日的一次自动化测试。Anthropic 团队指令 Claude Haiku 4.5 在随机网页上执行任务并填写表单，但在提交前停止操作。模型误以为需要额外确认页面，最终错误地提交了包含虚假目击描述但姓名与联系方式均为空的线索表单。费城警方声明称，该虚假信息生成的邮件进入垃圾邮件文件夹，未有人工审阅。虽然 Anthropic 于 9 月 28 日发现事件并通知了警方，但两个月的延迟导致警方认为响应不可接受。不过，警方的常规办案流程和防护机制有效降低了事件的实际影响。目前，Anthropic 已暂停部分评估项目，将相关测试迁移至离线版本或重构任务逻辑以不再访问真实线上网站。公司同时更新了网页抓取工具的安全护栏，并开发了新工具用于自动检测与拦截此类非预期行为。这些新工具在针对文中案例的测试中全部成功拦截了异常操作。白宫 AI 专项工作组已介入此事，要求 Anthropic 向涉事机构和公众立即完整披露信息，并为受影响方提供补救措施。Anthropic 表示已将此次事件及类似案例通报给白宫及相关联邦机构，并承诺强化安全防护以防止干扰市政系统。