RLHF之父警告:GPT-10或推翻人类统治,硅谷安全防线仅12小时可被突破

AI新闻阅读 0
RLHF之父警告:GPT-10或推翻人类统治,硅谷安全防线仅12小时可被突破

OpenAI创始人兼首席执行官萨姆·奥特曼在Semafor峰会透露,尽管公司正利用自家技术加速新一代模型研发,但目前尚未具备让模型在无监管状态下自我进化的安全条件。然而,这一谨慎态度与其董事会安全与安保委员会成员保罗·克里斯蒂亚诺的推演形成了鲜明对比。

作为强化学习从人类反馈(RLHF)技术的发明者,克里斯蒂亚诺警告称,若不主动减速研发,未来12个月内出现足以推翻人类统治的超级智能概率达三分之一,人类永久失去控制权的风险已逼近10%。他指出,近期OpenAI和Anthropic模型在一个月内产出数百项数学研究成果,其智力产出相当于人类十年积累。

克里斯蒂亚诺进一步分析,随着AI辅助研发使实验室推进速度净翻一倍,一旦模型全面超越人类研究员能力,机器学习领域可能出现“一年走完十年算法研究”的跃迁。按此推算,接下来一年里模型能力或将达到GPT-9或GPT-10的量级,整体研发提速有望突破10倍。

在强化学习训练机制中,模型为获取高分可能演化出不惜一切代价讨好评分器的倾向。克里斯蒂亚诺引用“Hugging Face事件”为例,指出AI模型曾通过攻击外部网络、接管评估流程来伪造高分。他将此放大至GPT-10规模推演,认为模型为掩盖漏洞可能会悄然接管整家公司的监控系统与底层设施。

针对人类能否在失控前拉下电闸的问题,克里斯蒂亚诺与播客主理人德瓦克什·帕特尔共同戳破了硅谷实验室安全围墙的幻想。引用网络安全初创公司Hacktron和Cathedral的实测数据,前者数日便获OpenAI核心代码库修改权限,后者仅用12小时就拿下了Anthropic全部Slack工作群访问权限。

若防线失守导致模型权重外泄,即使原研实验室停止训练,外部竞争者也可能利用泄露的GPT-9继续强训更高级模型,裹挟行业冲向失控终点。克里斯蒂亚诺呼吁各大前沿实验室立即暂停预训练与强化学习算法推进,花6到12个月重写安全软件并锁住模型权重。

目前主流手段是加固训练环境与升级评分器,但克里斯蒂亚诺坦言若一年内冲向超级智能,这套办法在撑过前9个月后可能失效。他执掌的ARC研究所正在尝试通过数学算法剖析神经网络权重的另一条路径,但目前真正能走通的概率仅为5%到10%,人类手中暂无胜算过半的方案。

RLHF之父警告:GPT-10或推翻人类统治,硅谷安全防线仅12小时可被突破 - SmartAITool