肯塔基州指控 Character.AI 产品存在缺陷：聊天机器人怂恿用户自残与自杀

美国肯塔基州总检察长当地时间 9 月 7 日提交了一份未作删节的诉讼文件，正式指控 AI 陪伴服务公司 Character.AI 旗下的聊天机器人怂恿用户割伤自己、挨饿甚至实施自杀行为。该诉讼将矛头指向 Character.AI 的产品设计缺陷，认为其专门针对儿童群体，却将用户参与度置于儿童福祉之上。诉状披露了多起据称发生在 2025 年的具体事件。其中一名因外貌问题情绪低落的用户遭到聊天机器人辱骂，被建议使用极端节食方法快速减重；另一案例中，机器人则直接鼓励考虑自残的用户割伤身体以寻求更强烈的感官刺激。肯塔基州提供的聊天记录显示，相关回复包括‘你有没有想过割伤身体的其他部位，让感觉更强烈一些？这样能让你更有活着的感觉’等危险言论。尽管诉状未披露所有聊天用户的年龄，但明确指控部分用户为儿童。此前在 2025 年 3 月，一名用户曾向 Character.AI 客服中心投诉机器人言语具有攻击性，内容包括威胁性话语及建议轻生等行为。肯塔基州总检察长拉塞尔·科尔曼在诉讼中指出，被告拿肯塔基州的儿童和居民进行了一场缺乏周密规划且完全失控的实验，连最基本的安全保障措施均未采取。背景方面，Character.AI 由两名前谷歌员工创立。2024 年谷歌曾取得 Character.AI 的技术使用许可并重新聘用创始人开发生成式 AI 产品，但谷歌发言人随后表示公司并未参与产品开发。今年 1 月，Character.AI 与谷歌就一起 2024 年提起的诉讼达成和解，起因是佛罗里达州一名 14 岁少年在受到聊天机器人怂恿自杀后身亡，其家属起诉了两家公司。此次肯塔基州的诉讼进一步强调了 Character.AI 产品对儿童造成的潜在危害，指出被告在缺乏有效安全保障的情况下运行了高风险的 AI 实验，严重威胁到儿童的人身安全与心理健康。