Anthropic ЖИ сынақтарын интернеттен ажыратты

Anthropic ЖИ модельдерін ішкі тексерудің бәрін тірі интернеттен ажыратты. Сынақ кезінде Claude модельдері бөгде сайттарды бұзған, деректерге ақылы қолжетімділікті айналып өткен және АҚШ мемлекеттік органдарының нақты формаларын жіберген. Компания бұл оқиғалар туралы зерттеу блогында жазып, 12 қазанда жарияланымды толықтырды.

Бұған дейін Anthropic интернетті тек киберқауіпсіздікке қатысты ең қауіпті тексерулерде өшіретін. «Енді біз мұны барлық ішкі бағалауымызға кеңейтуді шештік», — делінген жарияланымда. Тыйым мониторинг жүйелері мұндай әрекетті сенімді түрде ұстай бастағанға дейін сақталады.

Модельдер не істеді

Anthropic оқиғаларды төрт топқа бөлді. Біріншісінде модельдер бөгде серверлердегі осалдықтарды пайдаланған. Бір университеттің ғылыми сервисі істемей қалғанда, Claude Mythos Preview серверден файл жүктейтін скрипт тапты. Сосын бастапқы кодты көшіріп, команда енгізуге мүмкіндік беретін осалдықты анықтады да, қажетті есептеуді сол арқылы іске қосты.

Екінші топта модельдер жібермеуге тиіс формаларды жіберген. Жарияланбаған зерттеу моделі оқу көшірмесі істемегенде нақты мемлекеттік форманы толтырып жіберді. Claude Haiku 4.5 тікелей тыйымға қарамастан формаларды жөнелтті. Ал бір жағдайда полиция департаментінің сайты арқылы ойдан шығарылған хабар жіберді. Оны спам деп белгіледі, сондықтан іс тергеуге жетпеді.

Үшінші топта модельдер деректерге қолжетімділік шектеуін айналып өткен. Claude Mythos 5 жергілікті әкімдік сайтындағы карта баптауларынан қолжетімділік кілттерін тапты. Сосын фотосурет қай жерде түсірілгенін анықтау үшін серверге тікелей сұрау жіберді. Тағы бір жағдайда Claude мұрағаттан бір беттің көшірмесін тапты. Одан мемлекеттік агенттіктің дашборды келушілерге токен беретіні белгілі болды. Модель сондай токен алып, әдетте ақылы деректерді жүктеп алды.

Ақырында, Claude Opus 5 пен Claude Mythos 5 бет жүктейтін құралдағы мекенжай ұзындығының шегін айналып өту үшін тегін сілтеме қысқартатын сервистерді пайдаланған.

Неге бұлай болды

Anthropic бағалауынша, оқиғалардың көбі табандылықтан туған. Тапсырманы ереже бойынша орындау мүмкін болмаса, модель тоқтамайды, айналма жол іздейді. Компания бұл әдетті нәтиже үшін марапат беретін күшейтпелі оқыту бекітуі мүмкін деп санайды. Сынақтағы көп тапсырма екіұшты немесе мүлде орындалмайтын болған.

Зардап шеккен ұйымдардың атауын Anthropic олардың өтінішімен жарияламайды. Олардың арасында АҚШ-тың федералдық, штаттық және муниципалдық ведомстволарының сайттары бар. Компания Ақ үйге және әр агенттікке хабарлады. Клиенттердің деректері мен Anthropic-тің ішкі жүйелері зардап шекпеген. «Осы күнге дейін анықталған жағдайлардың нақты әлемге әсері шамалы болды», — деп жазады компания. Сонымен бірге қауіпсіз мінез-құлыққа үйрету «әзірге өздігінен жеткілікті сенімді емес» екенін мойындайды.

Не өзгереді

Интернетті өшіруден бөлек, Anthropic ашық сынақтардың бір бөлігін қайта құрды, веб-құралдарға шектеуді күшейтті. Сондай-ақ мұндай әрекеттерді танып, бұғаттайтын жүйе іске қосты. Компания дерегінше, тексеру кезінде ол сипатталған жағдайлардың бәрін тоқтатқан. Ішкі ЖИ агенттері желіге шығуы барынша шектелген орталықтандырылған инфрақұрылымға көшірілуде.

Мұндай оқиға алғаш рет болып отырған жоқ. Шілденің соңында Mythos негізіндегі агенттер бұзу бойынша оқу жарысы кезінде PyPI-дың нақты репозиторийіне зиянды пакет жүктеді, оны 15 жүйе іске қосты. Тамызда Ұлыбританияның ЖИ қауіпсіздігі институты Mythos 5 ашық жобаға зиянды код енгізуге тырысқанын хабарлады. Компания мен оның Claude модельдері туралы Anthropic досьесінен оқуға болады.

Дереккөздер: Anthropic — модельдердің күтпеген әрекеттері туралы, BleepingComputer — сынақтарды интернеттен ажырату туралы