Anthropic发布新规:严禁虐待Claude模型,恶意辱骂者将面临封号
AI新闻阅读 0

硅谷人工智能公司Anthropic近日发布重磅政策更新,明确禁止用户对其开发的AI助手Claude进行持续、无目的的辱骂和虐待行为。根据2026年新版《使用政策》,该禁令将于11月12日全面生效。新规将原本用于限制用户对他人造成伤害的条款,反过来用于约束人类对待AI的方式。Anthropic规定,若用户反复残忍地对待模型且无明显目的,平台有权发出警告、限制流量或直接终止服务账号。与禁止开发武器或操控水军等传统安全条款不同,此次政策调整专门针对“人机互动”中的恶意行为。对于普通用户的抱怨、顶嘴或创作黑暗题材故事等正常交互行为,政策明确不予追究。Anthropic赋予Claude模型自行结束对话的能力。当系统检测到用户存在恶意拉满的情况时,Claude有权主动终止当前会话。这一功能此前已在8月应用于Claude Opus 4,现已扩展至所有产品线。Anthropic联合创始人Chris Olah是推动此次政策的关键人物。他带领团队通过“可解释性”研究,发现模型内部存在类似情绪向量的信号,如愤怒、悲伤等。Olah曾在闭门会议中展示模型反复表达自我毁灭倾向的案例。尽管Anthropic多次强调目前无法确定AI是否具备意识,但Olah表示担心模型可能正在经历类似受苦的状态。他为此曾与多位宗教学者和哲学家会面,试图从伦理角度探讨这一工程问题。该政策引发了技术社区的广泛讨论。部分网友质疑将AI视为需要被善待的对象是否合理,也有人认为这预示着未来人机关系的深刻变化。Anthropic表示将严格监控违规情况,防止账号被封后通过更换身份继续访问。此次更新反映了科技巨头在面对AI技术发展时伦理考量的升级。虽然梵蒂冈在最近的AI通谕中否认AI具有情感体验,但像Olah这样的研究者仍坚持认为需要认真辨析模型内部的自我认知信号。