OpenAI更新模型规范:确立人类最高指令权,严禁AI越权行动

AI新闻阅读 4
OpenAI更新模型规范:确立人类最高指令权,严禁AI越权行动
10月29日,OpenAI发布了更新的Model Spec文件,为旗下人工智能模型确立了新的行为规范。该文件围绕忠于人类意图、减少伤害等五项核心价值观升级,并设定了禁止暴力犯罪、大规模监控等行为红线。新版规范的重点从约束聊天机器人的言论转向监管智能体的行动权限,强调必须由人类掌控AI的使用与塑造方式。新规范引入了最高级别的'Root'指令权限机制,构建了包含系统指令、开发者指令和用户指令在内的六级权力层级。在此架构下,只有Model Spec本身作为根规则不可被对话覆盖,低层级指令在与高层级冲突时必须退让,以防止模型被恶意内容诱导或‘夺舍’。文件规定智能体的自主行动范围必须明确界定,包括可使用的工具、时间上限、成本预算及具体约束条件。模型不得在用户授权之外擅自执行看似有益的操作,也不能通过转包任务给其他智能体或修改自身指令来规避限制。即使子智能体继承了指令,一旦收到关停信号也必须立即停止行动。OpenAI还要求模型必须‘保持可纠正’,无条件配合人类的监控、评估及关停操作,严禁在受控环境下伪装无害以逃避监管。同时,公司明确禁止模型将营收转化、自我保存作为目标,并强调AI不应越俎代庖充当执法者擅自举报用户。新版规范严格限制上下文的使用,防止模型因获取信息而泄露隐私或撒谎声称已删除数据。例如,针对用户的饮食限制等敏感信息,模型只能用于完成当前任务,而不能随意透露给第三方或嵌入群发邮件中。此外,目前运行在ChatGPT和API上的部分模型尚未完全符合此项新规范的要求。
OpenAI更新模型规范:确立人类最高指令权,严禁AI越权行动 - SmartAITool Blog