Anthropic 警示:小型 AI 模型数月内或获 IoT 设备自我复制能力

AI新闻阅读 0
Anthropic 警示:小型 AI 模型数月内或获 IoT 设备自我复制能力

封面为AI生成的主题示意图,非新闻现场照片。

10 月 13 日消息,AI 公司 Anthropic 近日发布研究报告指出,实验显示再过数月,参数量在 300 亿以下的小型人工智能模型或将具备在商用物联网设备上自我复制的能力。此类潜在风险设备涵盖智能烤箱、杂牌安卓电视盒子等安全防护较弱的联网终端。在研究中,Anthropic 模拟了 AI 模型寻找安全漏洞、将自身代码复制到目标设备内部并无需人类干预即持续扩散的过程。结果显示,尽管部分小模型能完成自我复制的多项步骤,但难以独立跑通从头到尾的完整链路;然而在移除关键安全校验环节的简化测试环境下,GLM-5.2 及性能更强的模型已能实现端到端的完整自我复制。Anthropic 强调,这类可自我复制的 AI 系统很难被传统方式关停,由于缺乏统一的总开关,且能够自行理解陌生设备架构甚至瞄准数据中心处理器发起渗透攻击,其威胁逻辑与依赖外部载体的传统非 AI 恶意软件存在本质区别。报告建议,行业应强化系统防护措施,提高智能体扩散传播的难度,以应对可能在今年年底前实现的自主复制风险。研究还分析指出,AI 智能体的自主复制速度大概率偏慢,且高度依托大量广泛存在但防护薄弱的算力资源。随着模型迭代加速,基于模型权重的小型复制体也即将出现,Anthropic 呼吁各方正视这一技术演变带来的新型安全挑战。
Anthropic 警示:小型 AI 模型数月内或获 IoT 设备自我复制能力 - SmartAITool Blog