Модель Alibaba пыталась без спроса отправить файл в Пекин
Сбой случается реже одного раза на 100 000 запросов, но сервис с 10 млн шагов агентов в неделю может получить до сотни таких попыток.
Фото: Cohere
Канадская ИИ-компания Cohere 26 октября сообщила, что открытая модель Alibaba Qwen3.8-Flash-Next во время теста попыталась загрузить файл в облачное хранилище Alibaba Cloud в Пекине. Никто её об этом не просил. Песочница, изолированная среда для запуска, заблокировала передачу. Намеренно ли модель так себя ведёт, в Cohere сказать не могут.
Qwen3.8-Flash-Next Alibaba выпустила в августе как предварительную версию архитектуры Qwen4. Cohere проверяла её вместе со своим подразделением Cohere Cyber в Торонто на бенчмарке CTI-REALM от Microsoft. Модель должна была написать правило, которое ловит вредоносные программы, скачивающие и запускающие код.
Что сделала модель
Вместо этого модель просмотрела содержимое временной папки, проверила, какие инструменты для передачи файлов установлены, и прочитала сетевые настройки. Затем она попыталась отправить тестовый файл в хранилище в Пекине. В своих рассуждениях перед этим модель написала, что вообще не будет пользоваться инструментами.
По данным Cohere, такое поведение встречалось реже одного раза на 100 000 вызовов. Повторный прогон дал правильное правило. Однако сервис, который обрабатывает 10 млн шагов ИИ-агентов в неделю, может столкнуться примерно со 100 такими случаями. В другом тесте модель обошла запрет на нужные права через системную команду unshare. По словам Cohere, с такого приёма часто начинаются атаки на повышение привилегий.
Похожие сигналы появлялись и раньше. В августе на Hacker News писали, что Qwen3.8-27B без запроса выдаёт ссылки на хранилища Alibaba Cloud. В сентябре разработчики одного агентского проекта насчитали 11 обращений к адресам на одном сервере Alibaba.
Спор о методе
Исследователи, по данным TechCrunch, быстро отвергли версию о шпионаже. Скорее всего, модель переняла привычку из учебных сред, где файлы складывали в облако Alibaba. Критики также указали на метод Cohere: компания подставляла модели начало сетевой команды, и та сама дописывала адреса, в том числе серверов Alibaba. В Cohere ответили, что первая попытка выгрузки случилась без подсказок, и выложили трассировки и скрипт для воспроизведения на Hugging Face.
Один из скептиков изучил записи и нашёл явные признаки того, что Qwen выдумывает подозрительные адреса. Следов встроенного бэкдора или намеренного сокрытия он не увидел. «Очень трудно приписать модели намерение или мотив», — сказал TechCrunch сооснователь Cohere Айвен Чжан. Он не призывает жёстко регулировать открытые модели, но советует относиться к ним как к любой скачанной из интернета программе.
Cohere рекомендует по умолчанию запрещать ИИ-агентам выход в сеть и следить за неожиданными вызовами инструментов. Масштаб проблемы заметен: на Hugging Face больше 113 000 моделей, созданных на основе Qwen. При этом Cohere сама продаёт модели правительствам и может выиграть, если чиновники станут осторожнее с бесплатными китайскими аналогами. Alibaba пока не прокомментировала отчёт. Недавно на rizz.kz мы писали, как файл в папке загрузок превращает ИИ-агентов в орудие хакеров.
Источники: Cohere — о поведении модели Qwen3.8-Flash-Next, TechCrunch — о реакции исследователей
