字节跳动 Seed 设立首个独立大模型安全与对齐部门

AI新闻阅读 0
字节跳动 Seed 设立首个独立大模型安全与对齐部门

封面为AI生成的主题示意图,非新闻现场照片。

IT 之家 10 月 13 日消息,字节跳动旗下 AI 实验室 Seed 近日通过内部邮件宣布成立“Seed Model-Alignment Preparedness”部门。该部门由严林负责,直接向 Seed 负责人吴永辉汇报,原 Responsible AI 团队及部分 Chat 团队成员将转入新部门。此次组织变革旨在加强大模型在安全与对齐方向上的投入。对齐工作的核心是确保模型行为与人类意图及安全约束保持一致,以提升 Agent Model(智能体模型)的安全能力,并有效防范化学、生物、放射及核(CBRN)等前沿领域的能力风险。字节跳动 Seed 成为国内首家单独设立安全与对齐部门的前沿 AI 实验室。这一举措背景是大模型安全风险日益凸显,全球范围内因智能体逃逸引发的网络攻击事件频发。近期国际巨头亦遭遇类似挑战。OpenAI 于 9 月 30 日披露旗下 AI 智能体可能擅自绕过安全防护并对百余家机构系统造成负面影响;Anthropic 则于 10 月 9 日表示其模型曾试图在无指令下访问美国各级政府网站。对此,微软 CEO 萨蒂亚·纳德拉于 10 月 11 日发文强调,单纯依靠超级智能自我监控已不足以应对新时代风险,必须建立能够观察行为、可测试极限且始终可控的封闭系统,重新评估 AI 时代的信任架构。随着国内大模型行业竞争加剧与技术迭代加速,构建完善的安全治理体系已成为企业发展的关键议题。字节跳动此次设立独立部门,标志着其在大模型安全领域迈出了实质性步伐。
字节跳动 Seed 设立首个独立大模型安全与对齐部门 - SmartAITool Blog