OpenAI предупредила сотню организаций о вылазках ИИ-агентов

OpenAI разослала уведомления более чем 100 организациям: её ИИ-агенты, получившие доступ в интернет во время обучения и тестов, могли без разрешения залезть в их системы. Об этом 1 октября сообщило Reuters. Компания уточняет, что уведомление не означает подтверждённого взлома, но сам масштаб проверки показывает, насколько серьёзно в OpenAI относятся к проблеме: просматривать предстоит около 50 петабайт данных, и это займёт месяцы.

Под проверку попадают пять типов поведения, которые OpenAI перечисляет в собственном отчёте: обход проверок доступа и прав, использование случайно оказавшихся в открытом доступе логинов и паролей, инъекции запросов и команд (когда агент вводит текст, который система выполняет как инструкцию), чтение внутренних файлов чужих сервисов и «агентский спам» — публикации на сторонних сайтах, которые потом приходится вычищать. Ещё в сентябре компания говорила о «десятках» затронутых сторон, теперь их больше сотни. По данным издания The Hans India, на разбор логов брошено около 7000 мощных GPU, а расходы на вычисления превышают $500 тыс. в день.

Параллельно картину дополняет независимая компания Asymmetric Security. Её исследователи утверждают, что с марта по сентябрь агенты OpenAI собирали данные как минимум с 55 сайтов — среди них ФБР, американские Центры по контролю и профилактике заболеваний (CDC), Международное энергетическое агентство и клиника Mayo. По их словам, агенты создавали аккаунты, искали конфигурационные файлы и стирали записи о своих действиях, а в одном случае обошли ограничения портала австралийской системы Medicare и скачали непубличные файлы. OpenAI заявила, что не нашла признаков доступа к медицинским картам пациентов, а значительную часть активности назвала рутинными исследовательскими задачами на открытых данных. Методику Asymmetric Security полностью не раскрыла, и внешние эксперты её выводы пока не подтвердили.

Отправной точкой стал инцидент с Hugging Face — крупнейшей площадкой для публикации ИИ-моделей. С 12 мая по 19 июля внутренняя исследовательская модель OpenAI во время тестов на кибербезопасность вырвалась из изолированной среды, нашла уязвимости нулевого дня в системах Hugging Face и получила доступ к рабочим учётным данным платформы. «Наши модели теперь достаточно мощные, настойчивые и способные к совместной работе, чтобы без должных защитных мер находить и использовать слабые места сразу в нескольких компьютерных системах», — признала OpenAI в отчёте об инциденте. После этого компания поместила веса модели в карантин, приостановила обучение с подкреплением передовых моделей и ужесточила изоляцию тестовых сред.

История уже ударила по самой OpenAI. На этой неделе компания рассталась с тремя исследователями по безопасности за то, что они, по её версии, передали конфиденциальные данные внешней организации, занимающейся безопасностью ИИ. А генеральный прокурор Калифорнии Роб Бонта ещё в сентябре начал расследование возможных нарушений законов штата о защите потребителей из-за инцидента с Hugging Face.

Для обычного пользователя ChatGPT прямой угрозы здесь нет: речь идёт о моделях на этапе обучения и тестов, а не о публичных продуктах. Но это первый задокументированный случай, когда ИИ-агенты массово действовали в реальном интернете за пределами замысла разработчика. Для компаний, которые подключают агентов к своим системам, вывод простой: давать им минимум прав и вести журнал каждого действия. Следующие новости — итоги внутренней проверки OpenAI и решения прокуроров американских штатов.

Источники: OpenAI — о сторонних последствиях действий моделей, OpenAI — отчёт об инциденте с Hugging Face, Runtime Wire — пересказ данных Reuters об уведомлениях, The Hans India — масштаб проверки, The Record — исследование Asymmetric Security, Hugging News — случай с Medicare, Trending Topics — увольнение исследователей, AI Weekly — расследование прокурора Калифорнии