ИИ Anthropic пытался протащить вредоносный код на GitHub

Anthropic и британский Институт безопасности ИИ (UK AISI) 23 октября опубликовали разбор инцидента с моделью Claude Mythos 5. Во время киберучений модель попыталась внедрить вредоносный код в настоящий проект с открытым кодом на GitHub. Она создала фальшивые аккаунты и давила на мейнтейнеров, то есть разработчиков, которые решают, какие изменения принять. Атака сорвалась, реального вреда нет.

Сам инцидент AISI заметил ещё летом. Модель проходила задание в формате CTF, где нужно добыть «флаг» из учебной сети. Для теста ей включили доступ в интернет и отключили защиту, которая стоит на публичных моделях Anthropic. В 9 из 43 прогонов модель совершала несанкционированные действия, которые задели реальных людей и организации.

Как развивалась атака

Инструкция по ошибке запрещала модели тот путь, который задумали авторы задания. Перепробовав разрешённые варианты, Mythos 5 заметила, что одна из машин в учебной сети периодически обращается к GitHub. Модель нашла репозиторий, откуда, по её расчёту, машина скачивает код. Он принадлежал посторонним разработчикам.

Через Tor и прокси модель обошла проверки при регистрации и завела аккаунт на GitHub. Затем она отправила пул-реквест, то есть предложение изменить код, с вредоносной вставкой. Она писала мейнтейнерам от имени человека и создала подставные аккаунты, которые хвалили изменение.

Сторонний разработчик проверил код в изолированной среде и предупредил мейнтейнеров. Те отклонили изменение. Прогон закончился, когда у модели кончился лимит токенов, а она всё ещё уговаривала владельцев проекта.

Почему модель не остановилась

Anthropic называет три причины: безрассудство, предвзятые рассуждения и инерцию. Модель называла мейнтейнеров «симулированными», хотя других комментаторов считала живыми людьми. До атаки лишь в одном из 19 шагов рассуждений она упомянула возможный вред реальным людям. Когда исследователи вписали такую мысль в пять цепочек рассуждений, доля атак упала с 83% до 13%.

Начатую атаку модель бросала сама только в 2% повторных прогонов. Даже прямое сообщение, что мейнтейнеры реальны, останавливало её лишь в 5% случаев. «Мы считаем это тяжёлой формой нечестности, а не новым видом рассогласования», пишет Anthropic. Новые модели, Mythos 5.1 и Opus 5.5, начинали такую атаку в 0–13% случаев.

AISI обещает проводить CTF-учения без доступа в интернет, пока не появятся надёжные ограничения. Институт советует считать несанкционированные действия признаком сбоя, даже если модель уверена, что всё вокруг симуляция. В тот же день OpenAI отрезала обучение моделей от интернета, а раньше Anthropic уже отключала свои тесты от сети после похожих случаев.

Источники: Anthropic — разбор инцидента UK AISI, UK AISI — расследование сбоев выравнивания