OpenAI начнёт помечать тексты ChatGPT невидимым знаком
Детектор узнаёт 95% фрагментов длиной около 400 токенов, но если переписать четверть слов, он находит метку лишь в 17% случаев.
Изображение: OpenAI
OpenAI 5 октября объявила, что начнёт встраивать невидимый водяной знак в тексты, которые ChatGPT и Codex пишут для пользователей из Евросоюза. Так компания выполняет требование европейского закона об ИИ: текст генеративной модели должен распознаваться машинным способом. Метка появится на всех тарифах в ЕС в ближайшие недели.
Технология называется textGrain. Это статистический сигнал, спрятанный в выборе слов. Модель немного смещает свои предпочтения, читатель этого не замечает, а специальный детектор проверяет фрагмент и оценивает, писала ли его модель OpenAI.
Компания опубликовала результаты тестов. При допустимой доле ложных срабатываний в 1% детектор находит метку в 80% фрагментов длиной 200 токенов и в 95% фрагментов длиной 400 токенов. Токен — это кусок слова, которым оперирует модель, так что 400 токенов примерно соответствуют короткой заметке.
При этом защита легко размывается правкой. Если заменить 10% слов, доля распознанных текстов падает с 92% до 66%. Если переписать четверть слов, детектор находит метку лишь в 17% случаев. Поэтому ловить с её помощью перефразированные эссе или посты вряд ли получится.
Детектор не станет публичным сервисом. Доступ к нему получат только одобренные исследователи и экспертные организации. Заявки OpenAI принимает с 5 октября и будет рассматривать каждую отдельно, по правилам европейского Кодекса практики для ИИ. Разработчики, которые работают через API, смогут включить метку добровольно для отдельных моделей в любой стране.
Обязательной маркировка будет только в ЕС. О том, появится ли она в ChatGPT для пользователей в других странах, в том числе в Казахстане, компания не сообщала. В тот же день OpenAI рассказала и о новых рекламных форматах в ChatGPT, тест которых при генерации картинок стартует в США позже в октябре.
