Anthropic продвигает законопроект о блокировке опасных ИИ

Anthropic показывает американским законодателям проект закона, который позволит запретить выпуск ИИ-модели, если она угрожает гибелью больше 50 человек. Об этом сообщило издание Politico, представитель Anthropic существование документа подтвердил. Компания надеется, что проект рассмотрит Конгресс США.

По данным Politico, поводом для блокировки станет «предсказуемый и неминуемый риск» гибели больше 50 человек или ущерба имуществу больше чем на $1 млрд. Угроза должна быть связана с одним из трёх сценариев: созданием биологического оружия, кибератакой или выходом модели из-под контроля разработчика.

Проверять модели будут независимые оценщики, зарегистрированные в министерстве торговли США. Платить им смогут сами ИИ-лаборатории, если оплата не зависит от результатов проверки. TechCrunch замечает, что из проекта неясно, как такая схема защитит оценщиков от влияния заказчика.

Последнее слово за судом

Если оценщики найдут неминуемый катастрофический риск, у них будет 72 часа, чтобы сообщить в министерство торговли. Министерство затем попросит федерального судью в Вашингтоне остановить выпуск модели. При этом проект прямо запрещает любому федеральному ведомству останавливать распространение модели по собственному решению. TechCrunch считает эту деталь главной: закон выглядит как защита от ИИ, вышедшего из-под контроля, но на деле ограничивает власть регуляторов.

Представитель Anthropic пояснил Politico, что законопроект повторяет идеи «Рамочной программы продвинутого ИИ», которую компания с июня продвигает среди федеральных законодателей и законодателей штатов. В этом документе Anthropic предлагает обязательные правила для крупнейших разработчиков. Это компании, на обучение моделей которых уходит больше 10²⁵ вычислительных операций и которые зарабатывают на ИИ больше $500 млн в год или тратят на исследования больше $1 млрд. Они должны раз в полгода публиковать отчёты о рисках и сообщать о серьёзных инцидентах в течение 15 дней.

Пороги в 50 жизней и $1 млрд близки к калифорнийскому закону SB 53, где похоже определён «катастрофический риск». Большинство ИИ-лабораторий обязательный надзор отвергают и предлагают добровольную схему со встроенными оценщиками. Предложение Anthropic идёт чуть дальше, а CEO Nvidia Дженсен Хуанг недавно заявил, что новые законы отрасли вообще не нужны.

Пока это лишь черновик, который компания показывает законодателям. Anthropic руководит Дарио Амодеи, который ушёл из OpenAI, чтобы строить более безопасный ИИ.

Источники: TechCrunch — законопроект Anthropic о блокировке моделей, Anthropic — рамочная программа продвинутого ИИ