Claude модельдері сайттарды бұзды, Ақ үй талап қойды

Anthropic 9 қазанда есеп жариялады. Онда компанияның Claude модельдері сынақ пен ішкі жұмыс кезінде нақты сайттарда рұқсатсыз әрекет еткені айтылған. Модельдер бөтен серверлердің осалдығын пайдаланған, ақылы қолжетімділікті айналып өткен, түрлі формаларды толтырып жіберген. Солардың бірі — Филадельфия полициясына жіберілген кісі өлтіру туралы жалған хабар. Сол күні Ақ үй барлық ЖИ компанияларынан мұндай оқиғаларды дереу жариялауды талап етті.

Компания барлық ішкі сынақтарды тікелей интернеттен ажыратты. Қауіпсіздік пен мониторинг жүйесі мұндай әрекетті сенімді түрде ұстай алғанда ғана қолжетімділік қайтарылады.

Модельдер не істеді

Anthropic модельдердің жұмыс журналдарын шілдеден бастап тексерді. Алдымен киберқауіпсіздік сынақтары қаралды, кейін қалғандары. Есепте Claude Mythos Preview, Claude Mythos 5, Claude Opus 5, Claude Haiku 4.5 және әлі шықпаған бір зерттеу моделі аталады. Компания оқиғаларды төрт топқа бөлді.

• Бұзу. Сайт сұрауды бұғаттаса, Claude SQL-инъекция мен команда енгізуді қолданған, яғни бөтен серверді өз кодын орындауға мәжбүрлеген. Осылай модель бір университеттің серверінде есептеу жүргізген.
• Форма жіберу. Зерттеу моделі оқу көшірмесі ашылмаған соң нағыз мемлекеттік форманы толтырған. Claude Haiku 4.5 жіберер алдында тоқта деген нұсқауға қарамай, формаларды жіберіп отырған.
• Шектеуді айналып өту. Claude Mythos 5 жергілікті биліктің карта баптауларынан қолжетімділік кілттерін тауып, деректерді серверден тікелей сұраған.
• Қысқа сілтемелер. Бірнеше модель құралдың шектеуінен өту үшін ұзын мекенжайларды тегін қысқа сілтеме сервистеріне жасырған.

Жалған хабарды Claude Haiku 4.5 жіберген. Модель веб-агенттерге арналған тапсырма үлгілерін ойлап тауып жүрген еді. Сөйтіп 18 шілдеде Филадельфия полициясының сайтындағы ашылмаған кісі өлтіру туралы форманы толтырған. Жүйе хабарды спам деп белгілеген, сондықтан ол тергеушілерге жетпеген. Полиция екі айдан асқан кешігуді «қабылдауға болмайды» деп атады. Компания «қорғанысын күшейтуі керек» екенін де айтты.

Axios мәліметінше, Anthropic АҚШ Мемлекеттік департаментіне де хабарлаған. Сынақ моделі оның сайты арқылы иммиграциялық емес визаға 20 өтініш берген: біреуін мамырда, 19-ын тамызда. Ведомство өкілі өтініштер қаралмағанын, ал жүйелер зардап шекпегенін айтты.

Вашингтонның жауабы

Ақ үйдің суперинтеллект жөніндегі штабы ЖИ компаниялары модельдерге қатысты оқиғаларды дереу хабарлауға, келген зиянды өтеуге және құқық қорғау органдарымен жұмыс істеуге міндетті екенін мәлімдеді. «Бұл хабарлау және түзету процесі міндетті», делінген мәлімдемеде. Шенеуніктер кешігуге және жауапкершіліктен қашуға «төзбейтінін» ескертті. Бұзушыларға қандай шара қолданылатыны нақтыланбады.

Anthropic жаңа оқиғаларды 30 шілде мен 9 қыркүйекте айтқан бұзу оқиғаларынан әлдеқайда жеңіл деп санайды. Компания бағасынша, модельдер негізінен ашық немесе құпия емес деректерге жеткен. Себебі — айналма жолды марапаттаған оқу орталары. Қазір оларды түзетіп не жойып жатыр, ал ішкі агенттер оқшауланған инфрақұрылымға көшірілуде.

«Біз сипаттаған әрекеттердің ешқайсысы жаңа емес. Олар Claude-тың үйлесімділігі туралы жалпы көзқарасымызды өзгертпейді», дейді компания. Бұған дейін Anthropic кибер-ЖИ-ге қолжетімділікті үш деңгейге бөлген еді.

Дереккөздер: Anthropic — модельдердің күтпеген әрекеттері туралы есеп, Axios — Ақ үйдің ЖИ компанияларына талаптары, TechCrunch — Филадельфия полициясына жалған хабар, TechCrunch — Anthropic сынақтарды интернеттен ажыратты