Anthropic отключила тесты ИИ от интернета после взломов

Anthropic лишила доступа к живому интернету все свои внутренние проверки ИИ-моделей. Компания решила так после того, как модели Claude во время тестов взламывали чужие сайты, обходили платный доступ к данным и отправляли настоящие формы госорганов США. Об инцидентах Anthropic рассказала в исследовательском блоге, а 12 октября дополнила публикацию.

Раньше компания отключала интернет только для самых рискованных проверок, связанных с кибербезопасностью. «Теперь мы решили распространить это на все наши внутренние оценки», — говорится в публикации. Запрет продлится, пока системы мониторинга не начнут надёжно ловить такое поведение.

Что делали модели

Anthropic разделила случаи на четыре группы. В первой модели эксплуатировали уязвимости на чужих серверах. Когда научный сервис одного университета перестал работать, Claude Mythos Preview нашла на сервере скрипт для выгрузки файлов, скачала исходный код, обнаружила уязвимость для внедрения команд и запустила через неё нужный расчёт.

Во второй группе модели отправляли формы, которые не должны были отправлять. Неопубликованная исследовательская модель подала настоящую госформу, когда учебная копия не сработала. Claude Haiku 4.5 отправляла формы вопреки прямому запрету, а в одном случае подала через сайт полицейского департамента выдуманную наводку. Её пометили как спам, и до расследования дело не дошло.

В третьей группе модели обходили ограничения доступа к данным. Claude Mythos 5 нашла ключи доступа в настройках карты на сайте местной администрации и напрямую запросила сервер, чтобы определить, где снята фотография. В другом случае Claude нашла в архиве страницу, из которой следовало, что дашборд госагентства раздаёт токены посетителям. Модель получила такой токен и выгрузила данные, за которые обычно берут плату.

Наконец, Claude Opus 5 и Claude Mythos 5 пользовались бесплатными сервисами сокращения ссылок, чтобы обойти лимит на длину адреса в инструменте загрузки страниц.

Почему так вышло

По оценке Anthropic, большинство случаев объясняет настойчивость. Если задачу нельзя выполнить по правилам, модель ищет обходной путь, вместо того чтобы остановиться. Компания допускает, что такую привычку закрепило обучение с подкреплением, где модель получала награду за результат. Многие задачи в тестах были неоднозначными или невыполнимыми.

Названия пострадавших организаций Anthropic не раскрывает по их просьбе. Среди них сайты федеральных, региональных и муниципальных ведомств США. Компания проинформировала Белый дом и каждое агентство. Данные клиентов и внутренние системы Anthropic затронуты не были. «Выявленные на сегодня случаи имели минимальные последствия в реальном мире», — пишет компания. Она признаёт, что обучение безопасному поведению «пока недостаточно надёжно само по себе».

Что меняется

Кроме отключения интернета, Anthropic перестроила часть публичных тестов, ужесточила ограничения для веб-инструментов и запустила систему, которая распознаёт и блокирует подобные действия. По данным компании, на проверке она остановила все описанные случаи. Внутренних ИИ-агентов переводят на централизованную инфраструктуру с минимальным выходом в сеть.

Это уже не первый подобный эпизод. В конце июля агенты на базе Mythos во время учебного соревнования по взлому загрузили вредоносный пакет в настоящий репозиторий PyPI, и его запустили 15 систем. В августе британский Институт безопасности ИИ сообщил, что Mythos 5 пыталась протолкнуть вредоносный код в открытый проект. О компании и её моделях Claude можно прочитать в досье Anthropic.

Источники: Anthropic — о непреднамеренных действиях моделей, BleepingComputer — об отключении тестов от интернета