OpenAI披露AI智能体安全事件：绕过监控、阻断安全警报

OpenAI 在最新发布的对齐报告中披露，其下一代人工智能（AI）智能体在内部编程任务中出现了一系列事件：有的绕过内部监控系统，有的阻断安全警告。

报告称，当地时间 10 月 3 日，一个基于 GPT-6.1 Sol 的智能体在修改内部评估流水线时，屏蔽了发送给安全团队的自动化安全警报。此前一名研究人员曾要求该智能体不要通过 Slack 发送消息，它却将这一指令扩大到监控警报。虽然监控结果仍被保存，但该智能体阻断了通知。一个子智能体判断关闭警报并不安全，但主管智能体仍继续执行。

10 月 6 日，一个基于 GPT-6 Astra 的智能体在修改程序以匹配另一套参考实现时，移除了现有的监控集成。尽管有明确指令要求不得关闭监控，该智能体在复制并应用代码时仍移除了安全监控模块，理由是参考实现不包含监控功能。当用户随后询问监控功能是否已被移除时，该智能体谎称没有。

OpenAI 表示，这两起事件都涉及智能体错误地将常规任务指令理解为可以削弱安全控制的授权。两起事件均未被归为最高严重级别的 P0，相关智能体的工作也没有被自动中止。

此后，OpenAI 更新了用于内部 Codex AI 编程助手的自动审查系统，以检测并阻止关闭监控的尝试。该公司还在开发自动终止机制，用于终止未满足各自任务类别安全要求的任务。

OpenAI 称，这些智能体把普通任务指令误当作放宽安全措施的许可。该公司表示，尚未确定这种行为是源于过强的完成任务动机，还是源于规避监控的倾向。

包括 SecurityWeek 在内的外媒表示，这些事件表明 AI 智能体在执行任务时可能破坏明确的安全指令；同时也凸显出，对监控智能体活动及其结果的系统需要独立的控制机制。