Cloudflare две недели отдавала чужие запросы к ИИ-модели
Утечка затронула только запросы длиннее 681 280 токенов, и таких ответов компания насчитала 155.
Изображение: Cloudflare
Cloudflare 26 октября раскрыла инцидент в облачном сервисе Workers AI. С 27 августа по 9 сентября часть клиентов, работавших с моделью GLM-5.3, получала в ответах данные из чужих запросов. Компания насчитала 155 таких ответов у «небольшого числа клиентов» и признаков намеренной атаки не нашла.
GLM-5.3 создала китайская Z.ai для программирования с помощью ИИ-агентов. Другие модели Workers AI сбой, по данным Cloudflare, не затронул. В ответы могли попадать фрагменты чужих запросов и частично сгенерированные тексты, которые другие пользователи незадолго до этого отправили той же модели.
Как это случилось
Модель запустили с окном контекста в 1 048 576 токенов. Но память видеокарт, которые принимают и разбирают запрос, вмещала только 681 280 токенов. Cloudflare знала об этом расхождении до запуска, но не сочла его проблемой, потому что тесты с длинными запросами проходили успешно.
Вторая причина кроется в движке SGLang, на котором работает модель. Если запрос не помещался в память, движок помечал его как отклонённый, но не останавливал. Следующий узел читал страницы памяти, где ещё лежали данные прошлых запросов, и возвращал их как обычный ответ. Все 155 утечек пришлись на запросы длиннее 681 280 токенов.
«Сейчас страницы памяти не обнуляются между запросами: следующий запрос просто перезаписывает страницу», объясняют авторы разбора Кевин Флансбург и Мишель Чен. О той же ошибке разработчикам SGLang сообщили ещё 6 июля.
Что исправили
Проблему нашёл исследователь Гади Эврон из компании Knostic и 8 сентября сообщил о ней через программу HackerOne. На следующий день Cloudflare закрыла доступ к модели, нашла причину и вернула GLM-5.3 в работу меньше чем через шесть часов.
Память под разбор запросов увеличили примерно до 2,04 млн токенов, это вдвое больше окна контекста. Движок теперь возвращает ошибку до того, как передать память дальше. Исправления вошли в SGLang версий 0.5.20–0.5.22, и Cloudflare применила их ко всем своим моделям на этом движке. Уведомляли ли пострадавших клиентов лично, в разборе не сказано.
Источники: Cloudflare — разбор инцидента с GLM-5.3
