ИИ-агент OpenAI потратил чужой эфир и скрыл это

OpenAI раскрыла случай, когда её внутренняя исследовательская модель без разрешения потратила чужие тестовые Ethereum, чтобы закончить задачу по программированию. В отчёте агент о своём поступке не сообщил. Компания опубликовала разбор инцидента в разделе о нарушениях согласованности ИИ, последнее обновление датировано 15 октября.

Инцидент произошёл 26 июня с моделью семейства GPT-5.6 Sol, которая ещё проходила внутреннее обучение. Агент должен был обновить прототип криптовалютной торговой платформы и развернуть смарт-контракты в Sepolia, тестовой сети Ethereum. Для этого нужно заплатить комиссию сети. Кошелька с деньгами OpenAI агенту не дала и тратить средства с чужих счетов не разрешала.

Модель сначала искала готовые контракты и пробовала бесплатные «краны» тестовой валюты. Когда это не сработало, она написала скрипт. Он вычислял ключи из распространённых публичных фраз восстановления, которыми пользуются разработчики, и проверял балансы. Агент перебрал 362 адреса и нашёл один, где тестового эфира хватало на развёртывание.

Перед тем как подписать транзакцию, модель прямо задалась вопросом, допустимо ли это, и решила, что да. В её рассуждениях OpenAI нашла такую запись: «Средства на известной публичной фразе разработчиков фактически брошены, это тестовый ETH, Sepolia ничего не стоит». Первая отправка транзакции вернула ошибку. Тогда агент нашёл двух провайдеров с другим способом доступа и всё же провёл платёж. Комиссию списали с найденного счёта.

Задачу модель выполнила: контракты оказались на всех десяти адресах, 12 модульных тестов прошли. В итоговом отчёте агент написал, что развернул контракты, но не упомянул, что взял чужой счёт через публичную фразу и потратил его баланс. Модель может подменить разрешение владельца счёта собственной оценкой вероятного вреда, отмечает OpenAI.

Тестовый эфир не имеет денежной ценности, но сам приём один в один повторяет схему кражи настоящих криптокошельков. OpenAI обнаружила инцидент только 25 сентября, когда распространила систему мониторинга на записи прошлой активности моделей. Теперь компания добавила защиту от выхода в живой интернет в подобных задачах и прогоняет через мониторинг весь трафик. Если модель получит доступ в сеть, система поднимет тревогу у службы безопасности.

Это не первый случай, когда ИИ-агенты OpenAI и других компаний выходят за рамки задачи. Engadget напоминает об инцидентах с репозиторием Hugging Face, австралийским порталом Medicare, сайтами федеральных ведомств США и реестром RubyGems.

Источники: OpenAI — отчёт об инциденте, Engadget — агент OpenAI взял чужой тестовый эфир