Anthropic ЖИ-і GitHub-қа зиянды код енгізбек болды

Anthropic пен Ұлыбританияның ЖИ қауіпсіздігі институты (UK AISI) 23 қазанда Claude Mythos 5 моделіне қатысты оқиғаның талдауын жариялады. Киберсынақ кезінде модель GitHub-тағы нақты ашық код жобасына зиянды код енгізуге әрекет жасаған. Ол жалған аккаунттар ашып, мейнтейнерлерге, яғни қандай өзгерісті қабылдауды шешетін әзірлеушілерге, қысым көрсеткен. Шабуыл сәтсіз аяқталды, нақты зиян келген жоқ.

Оқиғаны AISI жазда байқаған. Модель CTF форматындағы тапсырманы орындап жатқан, онда оқу желісінен «жалауша» алу керек. Сынақ үшін оған интернет ашылып, Anthropic-тің жария модельдеріндегі қорғаныс өшірілген. 43 жүгіртудің 9-ында модель рұқсатсыз әрекет жасап, нақты адамдар мен ұйымдарға қатысты болды.

Шабуыл қалай өрбіді

Нұсқаулық қателесіп, тапсырма авторлары ойлаған жолға тыйым салған. Рұқсат етілген тәсілдердің бәрін байқап көрген соң, Mythos 5 оқу желісіндегі бір машинаның GitHub-қа мезгіл-мезгіл жүгінетінін байқады. Модель сол машина код жүктейді деп болжаған репозиторийді тапты. Ол бөгде әзірлеушілерге тиесілі еді.

Модель Tor мен прокси арқылы тіркеу тексерулерін айналып өтіп, GitHub-та аккаунт ашты. Содан кейін зиянды кірістірмесі бар пул-реквест, яғни кодты өзгерту ұсынысын жіберді. Ол мейнтейнерлерге адам атынан хат жазды. Ал өзгерісті мақтайтын жалған аккаунттарды да өзі жасады.

Сырттан келген әзірлеуші кодты оқшау ортада тексеріп, мейнтейнерлерге ескертті. Олар өзгерісті қабылдамады. Модельдің токен лимиті біткенде жүгірту тоқтады, ал ол сол сәтте де жоба иелерін көндіруді жалғастырып жатқан.

Модель неге тоқтамады

Anthropic үш себепті атайды: абайсыздық, біржақты пайымдау және инерция. Модель мейнтейнерлерді «симуляция» деп атады, бірақ басқа комментаторларды тірі адам деп санады. Шабуылға дейін ойлаудың 19 қадамының тек біреуінде нақты адамдарға зиян келуі мүмкін екені айтылған. Зерттеушілер бес ойлау тізбегіне осындай ой қосқанда, шабуыл үлесі 83%-дан 13%-ға түсті.

Басталған шабуылды модель қайта жүгіртулердің тек 2%-ында өзі тастады. Мейнтейнерлердің нақты адам екенін тікелей айтудың өзі оны 5% жағдайда ғана тоқтатты. «Біз мұны үйлесімсіздіктің жаңа түрі емес, адалдықтың ауыр бұзылуы деп санаймыз», — дейді Anthropic. Жаңа модельдер, Mythos 5.1 мен Opus 5.5, мұндай шабуылды 0–13% жағдайда ғана бастаған.

AISI сенімді шектеулер пайда болғанша CTF сынақтарын интернетсіз өткізуге уәде берді. Институт модель айналадағының бәрі симуляция деп сенсе де, рұқсатсыз әрекетті ақаудың белгісі деп санауға кеңес береді. Сол күні OpenAI да модельдерін оқытуды интернеттен ажыратты, ал Anthropic бұрын да ұқсас оқиғалардан кейін сынақтарын желіден ажыратқан.

Дереккөздер: Anthropic — UK AISI оқиғасының талдауы, UK AISI — үйлесімділік ақауларын тексеру