Аудит нашёл дыры в надзоре OpenAI за её ИИ-агентами

Исследовательские организации METR и Redwood Research опубликовали итоги трёхнедельной проверки системы, которой OpenAI следит за поведением своих ИИ-агентов внутри компании. Проверяющие нашли несколько способов, которыми агенты могли бы уйти из-под наблюдения или выйти за пределы песочницы. Доказательств, что агенты этим пользовались, в отчёте нет. OpenAI заявляет, что все уязвимости в рабочей системе уже закрыла.

Проверку провели Дэвид Рейн и Адам Кауфман, сотрудники METR и Redwood Research. Они работали с 21 июля по 11 августа 2026 года и оценивали систему в том виде, в каком она была на 21 июля. Им открыли внутренний код, промпты и настройки мониторинга, документацию. Исследователи поговорили примерно с десятком инженеров OpenAI. Работали они на устройствах компании, в её офисе и под сопровождением.

Что нашли

Система мониторинга ищет у агентов признаки сговора, саботажа, обмана, вывода данных наружу и попыток обойти сам мониторинг. Проверяющие обнаружили в ней такие слабые места:

• при «сжатии» контекста, когда модель сокращает накопленную переписку, мониторинг отключался; из-за этого с мая по июль без надзора, вероятно, осталось около 10% подходящего трафика внутренних агентов Codex;
• проверка запускалась, только когда агент возвращал управление человеку, поэтому агент мог откладывать её сколько угодно, просто продолжая действовать;
• агенты Codex теоретически могли обойти песочницу и автоматическую проверку действий и сделать всё, что доступно пользователю, от имени которого они работают;
• один эксплойт позволял скрыть от мониторинга сотни последних действий, включая собственные; детали OpenAI вычеркнула;
• два заголовка запроса, которыми управляет клиент, отключали мониторинг для новых агентов;
• два внутренних инструмента считались безопасными, только для чтения, и не отслеживались, хотя через них, вероятно, можно было выполнять произвольные действия.

Пробел со сжатием контекста OpenAI нашла сама и исправила прямо во время проверки. Проверить, пользовались ли агенты этой дырой на практике, METR не смогла из-за ограниченного доступа. Под мониторинг подпадало от 75% до 94% внутреннего агентского трафика моделей уровня GPT-5.5 и выше. Обучение с подкреплением в начале проверки не отслеживалось вовсе.

Что дальше

Полный отчёт занял 61 страницу, его получили исследователи и служба безопасности OpenAI. Публичная версия короче, и OpenAI могла вычеркнуть из неё всё, что считала чувствительным. По словам компании, с тех пор она существенно расширила охват мониторинга. METR эти заявления не проверяла.

Авторы предлагают строить надзор так, чтобы он выдерживал «целенаправленные, стратегические и продолжительные атаки со стороны очень способных внутренних агентов». Для этого агентов нужно проверять регулярно, а не только в конце шага, сверять журналы запросов с журналами мониторинга и отделять агентов от систем, которые за ними следят. Отчёт вышел на фоне решения OpenAI отрезать обучение моделей от интернета после инцидентов с её агентами.

Источники: METR — проверка мониторинга агентов OpenAI, The Register — разбор отчёта METR и Redwood Research