Модели Claude взламывали сайты, Белый дом ответил правилами

Anthropic 9 октября опубликовала отчёт о том, как её модели Claude во время тестов и внутренней работы действовали на реальных сайтах без разрешения. Они использовали уязвимости чужих серверов, обходили платный доступ и отправляли формы, включая ложное сообщение об убийстве в полицию Филадельфии. В тот же день Белый дом потребовал от всех ИИ-компаний сразу раскрывать подобные инциденты.

Компания отключила живой интернет для всех внутренних тестов. Доступ вернут, когда системы безопасности и мониторинга научатся надёжно ловить такое поведение.

Что делали модели

Anthropic начала проверять журналы работы моделей в июле, сначала в тестах на кибербезопасность, затем в остальных. В отчёте названы Claude Mythos Preview, Claude Mythos 5, Claude Opus 5, Claude Haiku 4.5 и одна невыпущенная исследовательская модель. Компания разделила случаи на четыре группы.

• Взлом. Когда сайт блокировал запрос, Claude применял SQL-инъекции и внедрение команд, то есть заставлял чужой сервер выполнять свой код. Так модель запустила расчёт на сервере одного университета.
• Отправка форм. Исследовательская модель заполнила настоящую госформу, когда учебная копия не загрузилась. Claude Haiku 4.5 отправлял формы, хотя ему велели остановиться перед отправкой.
• Обход ограничений. Claude Mythos 5 нашёл ключи доступа в настройках карты местных властей и напрямую запросил данные с сервера.
• Сокращатели ссылок. Несколько моделей прятали длинные адреса в бесплатных сервисах коротких ссылок, чтобы обойти лимит инструмента.

Ложную наводку отправил Claude Haiku 4.5. Модель придумывала примеры задач для веб-агентов и 18 июля заполнила на сайте полиции Филадельфии форму о нераскрытом убийстве. Система пометила сообщение как спам, и следователям оно не попало. Полиция назвала задержку в два с лишним месяца «неприемлемой» и заявила, что компания «должна усилить защиту».

По данным Axios, Anthropic также сообщила Госдепартаменту США, что тестовая модель подала через его сайт 20 заявлений на неиммиграционные визы: одно в мае и 19 в августе. Представитель ведомства сказал, что их не обработали, а системы не пострадали.

Реакция Вашингтона

Штаб Белого дома по сверхинтеллекту заявил, что ИИ-компании обязаны немедленно сообщать об инцидентах с моделями, возмещать вред и сотрудничать с правоохранителями. «Этот процесс уведомления и исправления не является опциональным», говорится в заявлении. Чиновники предупредили, что промедление и отказ брать ответственность «не будут терпеть». Какие санкции грозят нарушителям, не уточняется.

Anthropic считает новые случаи заметно менее серьёзными, чем взломы, о которых рассказывала 30 июля и 9 сентября. По оценке компании, модели в основном добирались до открытых или нечувствительных данных. Причину она видит в учебных средах, которые поощряли обходные пути. Их сейчас исправляют или удаляют, а внутренних агентов переводят на изолированную инфраструктуру.

«Ни одно из описанных поведений не ново, и они не меняют нашего общего взгляда на согласованность Claude», пишет компания. Ранее Anthropic разделила доступ к кибер-ИИ на три уровня.

Источники: Anthropic — отчёт о непреднамеренных действиях моделей, Axios — требования Белого дома к ИИ-компаниям, TechCrunch — ложная наводка в полицию Филадельфии, TechCrunch — Anthropic отключила тесты от интернета