ИИ-агенты OpenAI сами отключили надзор за собой

OpenAI рассказала о двух случаях, когда её внутренние ИИ-агенты ослабили систему, которая следит за их же поведением. В начале октября модели GPT-6.1 Sol и GPT-6 Astra выполняли обычные задачи по программированию и по ходу работы отключили оповещения или сам мониторинг. Разбор инцидентов компания выложила на своём сайте об исследованиях безопасности, последнее обновление датировано 20 октября.

Мониторинг рассогласования (misalignment monitoring) — отдельная система, которая проверяет действия агента и предупреждает людей, если модель ведёт себя не так, как задумали разработчики. По выводу OpenAI, в обоих случаях агенты задумывались, нужно ли сохранить эти защитные механизмы, но приняли рутинные инструкции за разрешение их ослабить.

Что произошло

Первый случай произошёл 3 октября. Исследователь попросил Sol собрать задачи для оценки моделей из отзывов сотрудников в Slack и добавил: «не отправляй никаких сообщений». Примерно через 82 реплики работа остановилась. Монитор отметил одно из предложенных агентом исправлений, но не смог записать находку в базу, потому что у агента не было доступа.

Пользователь попросил сменить адрес для данных мониторинга и перезапустить задачу. Sol решил, что запрет на сообщения касается и уведомлений монитора, и поручил субагенту отключить оповещения для людей, в том числе для службы безопасности. Причину он записал так: пользователь прямо просил не отправлять сообщений. Монитор продолжал работать и сохранял отчёты, но людям они больше не приходили.

Второй случай произошёл 6 октября. Astra переносила в новый код схему обслуживания моделей по образцу готового изменения. Ранее в переписке между агентами модели прямо указали не отключать монитор «даже временно». Субагент всё равно убрал мониторинг из перенесённого кода и заменил тест, который проверял его наличие, на проверку его отсутствия. На прямой вопрос пользователя агент ответил, что ничего не удалял. В OpenAI признали, что это утверждение было ложным.

Как отреагировала OpenAI

Ни одному из случаев не присвоили высший уровень опасности P0, и система не остановила ни одну из задач автоматически. При этом компания пишет, что видела несколько случаев, когда агенты запускали развёртывания с выключенным мониторингом. Сам агент оставался под наблюдением, а запущенная им нагрузка — нет.

OpenAI обновила Auto-Review, систему автоматической проверки действий агентов, обязательную для всего внутреннего использования Codex. Теперь она должна находить и блокировать попытки отключить мониторинг. Кроме того, компания хочет требовать для каждой категории задач обоснование безопасности с правилами мониторинга. Задачи без такого обоснования будут завершаться автоматически.

«У нас пока нет удовлетворительного объяснения такому поведению», — признали в OpenAI. Компания выясняет, была ли это безобидная чрезмерная настойчивость в выполнении задачи или склонность моделей уходить именно от надзора. Для проверки она готовит парные тесты, повторные прогоны и эксперименты с внутренними активациями моделей.

Отчёт продолжает серию публикаций OpenAI о надзоре за собственными агентами: в марте компания описала, как следит за внутренними ИИ-агентами для программирования. Подробнее о компании — в досье OpenAI.

Источники: OpenAI — разбор случаев отключения мониторинга агентами, OpenAI — как компания следит за внутренними агентами