OpenAI, Google и Microsoft дадут сайтам запретить обучение ИИ

Google, Microsoft, Anthropic и OpenAI 30 октября объявили, что будут поддерживать единый сигнал, которым сайт может запретить использовать свои тексты для обучения генеративных моделей. Владельцу сайта достаточно одной строки в файле robots.txt, и запрет будет действовать сразу для всех четырёх компаний.

Сейчас издателям приходится блокировать каждого ИИ-краулера по отдельности, а запрет на обучение нередко означает и исчезновение из поиска. Новый механизм разделяет эти вещи: он касается только обучения моделей и не влияет на индексацию и показ сайта в поисковой выдаче.

Как это устроено

Механизм описан в черновике стандарта IETF, международной организации, которая разрабатывает интернет-протоколы. Автор документа «Machine-Readable Training Preference Signal» — Кевин Келли из Anthropic. В нём нет новых команд: в robots.txt появляется особое значение __usage_ai-training в строке User-Agent. Под ним сайт пишет привычные Disallow и Allow, то есть может закрыть весь сайт и оставить открытым, например, раздел для прессы.

Общее правило для всех роботов (User-Agent: *) на этот сигнал не распространяется. Если строки нет, считается, что сайт никаких предпочтений не высказал. Обучением ИИ черновик называет изменение параметров генеративной модели на основе контента, модели для негенеративных задач под запрет не попадают.

Кто и когда начнёт

Сроки у компаний разные. По данным SiliconANGLE, OpenAI и Microsoft добавят поддержку в ближайшие месяцы, Google — в течение следующего года. Microsoft уже назвала дату: Bing начнёт учитывать новые настройки с 1 февраля 2027 года.

Помимо запрета на обучение, Microsoft вводит отдельную настройку для «граундинга», то есть использования страниц в ответах ИИ-ассистентов в реальном времени. Её задают мета-тегом или HTTP-заголовком, а не через robots.txt. Bing предупреждает, что запрет на граундинг заметно снизит видимость сайта в ИИ-ответах.

«Издатели не должны выбирать между тем, чтобы их находили в Bing, и правом решать, как генеративные модели используют их работу», — написал главный продакт-менеджер Microsoft Bing Кришна Мадхаван.

Ограничения

Сигнал остаётся добровольным. Черновик прямо говорит, что частные соглашения могут его отменять, а сам документ пока не одобрен IETF и формального статуса не имеет. Работа рабочей группы AI Preferences над итоговым стандартом продолжается.

Microsoft отдельно подчёркивает, что ни разрешение, ни запрет не гарантируют трафика или оплаты за контент. Чтобы увидеть настройку, компания должна сначала заново обойти страницу.

Meta, по данным SiliconANGLE, поддержала саму идею, но обещания внедрить сигнал не дала. Совсем недавно она разрешила себе собирать сайты бизнес-клиентов для обучения своего ИИ.

Источники: SiliconANGLE — о поддержке стандарта четырьмя компаниями, Microsoft Bing — о сроках и настройках, IETF — черновик стандарта