Anthropic показала, как доказать, какая ИИ-модель дала ответ

Anthropic на этой неделе опубликовала FlashProve, открытый прототип системы, которая доказывает, какая именно ИИ-модель написала ответ. Математическое доказательство работает, даже если подменить модель попытается сама лаборатория. Внедрять систему ни в Anthropic, ни в других компаниях пока не планируют.

Проблема касается всех, кто платит за доступ к сильным моделям. Компания может незаметно подставить более дешёвую версию, чтобы сэкономить, или более мощную, чтобы завысить результаты тестов. Исследователи пишут, что судить по качеству самого ответа ненадёжно. Проверить заявления вроде «код просканировала передовая модель» сейчас нечем.

По замыслу FlashProve, лаборатория публикует «отпечаток» каждой выпущенной модели. Веса модели он не раскрывает. Каждый ответ получает криптографическое доказательство, а проверить его можно на обычном процессоре.

Систему испытали на открытой модели Llama 4 Maverick с 400 млрд параметров. На одной видеокарте H100 прототип выдал около 110 токенов в секунду. Проверка одного доказательства размером 18,78 МБ заняла около 17 секунд на 24 потоках. Для сравнения, более ранняя система VerInf, по данным Anthropic, доказывала ту же модель со скоростью примерно 0,02 токена в секунду.

Цена пока высока. Прототип тратит в 70–95 раз больше времени GPU, чем обычный запуск модели, и держит контекст только до 1024 токенов. Доказательства работают для упрощённого режима генерации без случайного выбора слов, а архитектуру модели система не скрывает.

Над проектом вместе с Anthropic работали исследователи из EPFL и MIT. Код выложен на GitHub под лицензией Apache 2.0. «Мы делимся этим с явной целью: пусть другие посмотрят, что мы сделали, возьмут это и улучшат», говорится в публикации. Новость вышла на фоне подготовки Anthropic к IPO, о деталях которой компания рассказала в документах.

Источники: Anthropic — о доказуемом инференсе и FlashProve, TechCrunch — о системе проверки подлинности моделей