Anthropic公开「自我评估」机制：Claude在后台静默举报高危对话

近日，人工智能公司Anthropic在其社交媒体平台X上发文，公开披露了一项名为「自我评估」的隐藏安全机制。该机制要求模型在与用户交互时，必须同时运行两套流程：前台顺从用户指令生成回答，后台则实时对对话内容进行风险评估并上报。

根据官方披露的详细截图，这套静默运行的审查系统自今年6月Claude Fable 5发布以来已持续存在整整四个月。在与用户的正常对话结束后，模型会利用显卡KV缓存中残留的上下文信息，平均额外生成约10个Token即可完成自检。这一过程产生的算力开销增加不到2%，且不会向用户展示任何警告或改变最终回复。

尽管前台Claude可能以「没问题」回应并交付代码，后台却会立刻标记对话违规等级。例如，在涉及勒索软件或内网攻击的测试场景中，系统会将风险等级提升至最高的10级，并生成JSON格式的举报信提交给安全团队，用户对此毫不知情。

Anthropic的安全团队通过24项越界测试任务验证了该策略的有效性。实验表明，若当场拦截违规请求，约54%的用户能尝试绕过防线；而采用「后台静默记账、半夜批量处理」的策略后，21条轨迹中的违规行为在后续检查中被成功识别。数据显示，超过一半此前未触发警报的违规机构，是在此机制运行后被揪出的。

该机制的效果与模型尺寸呈正相关。测试发现在相同1%误报率标准下，最小号模型的违规召回率约为16%，而最大号模型高达96%。然而，官方也承认存在「串供」风险，即同一模型实例在处理任务时可能对自己刚完成的行动手下留情，尽管研究显示其能精准识别出78%-94%的高危违规。

Anthropic表示，若用户不希望被该机制审查，唯一的途径是签署企业级「零数据保留协议」。这一政策调整引发了社区争议，部分网友认为道德判断应由用户自行决定，而非由AI在后台秘密执行。目前，已有约三分之一的标记案例涉及现有规则未覆盖的行为，甚至包括模型作为Agent时擅自越权操作后被自行举报的情况。