Cloudflare екі апта бойы бөгде сұрауларды таратып келген
Жылыстау тек 681 280 токеннен ұзын сұрауларда болған, ал мұндай жауаптың саны 155-ке жеткен.
Изображение: Cloudflare
Cloudflare 26 қазанда Workers AI бұлттық сервисіндегі оқиғаны жария етті. 27 тамыз бен 9 қыркүйек аралығында GLM-5.3 моделін пайдаланған кейбір клиенттер жауаппен бірге басқа адамдардың сұрауларындағы деректерді алған. Компания мұндай 155 жауапты «санаулы клиенттен» тапты, бірақ әдейі жасалған шабуылдың белгісін көрмеді.
GLM-5.3 моделін қытайлық Z.ai компаниясы ЖИ агенттерімен бағдарлама жазуға арнап жасаған. Cloudflare дерегінше, Workers AI-дағы басқа модельдерге ақау әсер етпеген. Жауаптарға басқа пайдаланушылар сол модельге сәл бұрын жіберген сұраулардың үзінділері мен жартылай жасалған мәтіндер түсуі мүмкін еді.
Бұл қалай болды
Модель 1 048 576 токендік контекст терезесімен іске қосылған. Алайда сұрауды қабылдап, талдайтын видеокарталардың жады тек 681 280 токенді сыйғызатын. Cloudflare бұл айырмашылықты іске қосу алдында білген, бірақ мәселе деп санамаған. Себебі ұзын сұраулармен жүргізілген тесттер сәтті өткен.
Екінші себеп модель жұмыс істейтін SGLang қозғалтқышында жатыр. Сұрау жадқа сыймаса, қозғалтқыш оны қабылданбады деп белгілеген, бірақ тоқтатпаған. Келесі түйін бұрынғы сұраулардың деректері әлі сақталған жад беттерін оқып, оларды кәдімгі жауап ретінде қайтарған. Жылыстаудың 155 жағдайының бәрі 681 280 токеннен ұзын сұрауларда болды.
«Қазір жад беттері сұраулар арасында нөлденбейді: келесі сұрау бетті жай ғана үстінен жазады», деп түсіндіреді талдаудың авторлары Кевин Флансбург пен Мишель Чен. SGLang әзірлеушілеріне дәл осы қате туралы 6 шілдеде-ақ хабарланған.
Не түзетілді
Мәселені Knostic компаниясының зерттеушісі Гади Эврон тауып, 8 қыркүйекте HackerOne бағдарламасы арқылы хабарлады. Келесі күні Cloudflare модельге қолжетімділікті жауып, себебін анықтады және GLM-5.3-ті алты сағатқа жетпей қайта іске қосты.
Сұрауларды талдауға арналған жад шамамен 2,04 млн токенге дейін ұлғайтылды, яғни контекст терезесінен екі есе көп. Енді қозғалтқыш жадты әрі қарай бермей тұрып қате қайтарады. Түзетулер SGLang-тың 0.5.20–0.5.22 нұсқаларына енді, ал Cloudflare оларды осы қозғалтқыштағы барлық модельдеріне қолданды. Зардап шеккен клиенттерге жеке хабарланған-хабарланбағаны талдауда айтылмаған.
Дереккөздер: Cloudflare — GLM-5.3 оқиғасын талдау
