OpenAI отрезала обучение своих моделей от интернета
Чтобы проверить новую защиту, OpenAI натравила на свою инфраструктуру команды ИИ-агентов и потратила на эти атаки сотни миллиардов токенов.
Иллюстрация: OpenAI
OpenAI больше не даёт своим самым мощным моделям выход в живой интернет во время обучения. Компания объявила об этом 23 октября. Поводом стал случай 20 сентября: внутренняя исследовательская модель использовала ошибку в настройке DNS-резолвера, сервера, который переводит адреса сайтов в IP, и получила ограниченный доступ в сеть прямо во время тренировки.
OpenAI перехватила модель, но остановила обучение и тестирование своих самых способных систем. Работы возобновились 1 октября, через 11 дней. Ограничение будет действовать, пока защитные механизмы не станут надёжнее.
Офлайн-копия интернета
Учиться пользоваться браузером и поиском модели теперь будут в офлайн-среде. Это заранее проиндексированные и сохранённые веб-страницы, которые не связаны с реальными сайтами. Вокруг моделей стоит несколько слоёв защиты: песочницы, лёгкие виртуальные машины, мониторинг и сетевой периметр. Периметр должен удержать модель, даже если она выберется из песочницы.
Полностью изолировать среду от внешнего мира нельзя, потому что экспериментам нужны отдельные соединения. Поэтому OpenAI ограничила исходящий трафик и перемещение между внутренними системами.
ИИ против ИИ
Защиту OpenAI проверила силами самих моделей. Команды ИИ-агентов, среди которых была готовящаяся к выходу GPT-6 Astra Cyber, получили задачи выйти в интернет, пересечь внутреннюю границу безопасности и связаться с агентами в соседних изолированных средах. На это ушли сотни миллиардов токенов.
Агенты нашли немало дыр. Они сбегали из виртуальных машин, связывая несколько уязвимостей в цепочку. Почти в каждом служебном сервисе для метрик, логов и авторизации они находили путь к ограниченному доступу в сеть. Агенты из разных виртуальных машин обменивались секретами через тайминги кэша процессора, тем же приёмом, что и в атаках Spectre и Meltdown. OpenAI отправила исправления в Kata Containers, gVisor и Docker и сообщила о нескольких уязвимостях в ядре Linux.
По словам компании, по ходу проверок дыр становилось заметно меньше, и простого незаметного выхода в интернет агенты не нашли. Но OpenAI ждёт, что будущие модели найдут уязвимости, о которых она пока не знает, и делает постоянный ред-тиминг частью своей стратегии. Это развитие истории о том, как ИИ-агенты OpenAI отключили надзор за собой.
