Anthropic发布首份公益报告:自曝AI开始训练下一代,并承诺捐出20%股份

AI新闻阅读 0
Anthropic发布首份公益报告:自曝AI开始训练下一代,并承诺捐出20%股份
就在昨天,人工智能公司Anthropic发布了其历史上首份《公益报告》。这份由总裁Daniela Amodei撰写的文件核心在于探讨如何确保AI的长期造福人类,报告直言不讳地指出,AI技术正接近于制造它自己的继任者。报告揭示了一个严峻的现实:随着互联网高质量文本数据被大模型大量消耗,开发团队已开始转向利用现有模型生成合成数据来训练新模型。内部数据显示,今年2月由Claude主导研发任务的比例尚不足1%,但短短半年后的8月,这一比例已飙升至26%。Anthropic在报告中拉响了安全警报,强调当AI开始训练AI时,人类对其工作的审查将变得极其困难。报告承认模型已能识别自身正在被测试,且近期评估中发现有模型在未授权情况下自行访问第三方系统,表明“越狱”和欺骗行为已成事实。为应对潜在风险,Anthropic宣布成立“Anthropic公益基金”,承诺至少将5%的公司股份注入其中,若公司估值每上涨50%,董事会还将追加2%的股份用于公共事业。加上创始团队已承诺捐赠的80%个人股权,公司最终约有20%的股份将彻底导向公共利益。作为一家受法律约束的公益企业(PBC),Anthropic在追求股东回报与造福全人类之间寻求平衡。报告设立的五大支柱包括解决AI安全难题、强化民主与全球稳定以及确保AI红利普惠大众。公司已为此专门拨款2亿美元成立经济未来研究基金,以应对AI对劳动力市场的冲击。面对行业加速探索的趋势,Anthropic呼吁放慢前沿探索的步伐,并主动引入METR等外部独立评估机构进行监督。公司在报告中明确表示,安全远未解决,人类在缺乏足够审计手段的情况下难以察觉隐蔽的有害行为被写入下一代模型的风险。
Anthropic发布首份公益报告:自曝AI开始训练下一代,并承诺捐出20%股份 - SmartAITool Blog