Аудит OpenAI ЖИ-агенттерін бақылаудағы олқылықты тапты

METR және Redwood Research зерттеу ұйымдары OpenAI компания ішіндегі ЖИ-агенттерінің мінез-құлқын бақылайтын жүйені үш апта бойы тексерді. Тексерушілер агенттердің бақылаудан жасырынуына немесе құмсалғыштан шығып кетуіне мүмкіндік беретін бірнеше әдіс тапты. Агенттердің бұл олқылықтарды пайдаланғаны туралы дәлел есепте жоқ. OpenAI жұмыс жүйесіндегі барлық осалдықты жапқанын айтады.

Тексеруді METR мен Redwood Research қызметкерлері Дэвид Рейн мен Адам Кауфман жүргізді. Олар 2026 жылғы 21 шілде мен 11 тамыз аралығында жұмыс істеп, жүйені 21 шілдедегі күйінде бағалады. Оларға ішкі код, мониторинг промпттары мен баптаулары, құжаттама ашылды. Зерттеушілер OpenAI-дың шамамен он инженерімен сөйлесті. Олар компанияның құрылғыларында, оның кеңсесінде және ілеспе адаммен жұмыс істеді.

Не табылды

Мониторинг жүйесі агенттерден сөз байласу, саботаж, алдау, деректерді сыртқа шығару және мониторингтің өзін айналып өту белгілерін іздейді. Тексерушілер онда мынадай әлсіз тұстарды тапты:

• модель жинақталған хат-хабарды қысқартатын контекст «сығымдалғанда» мониторинг өшіп қалған; сондықтан мамырдан шілдеге дейін ішкі Codex агенттерінің тиісті трафигінің шамамен 10%-ы бақылаусыз қалуы мүмкін;
• тексеру агент басқаруды адамға қайтарғанда ғана іске қосылған, ал агент әрекетін жалғастыра беріп, оны шексіз кейінге қалдыра алған;
• Codex агенттері теория жүзінде құмсалғыш пен әрекеттерді автоматты тексеруді айналып өтіп, өздері атынан жұмыс істейтін пайдаланушыға қолжетімді кез келген әрекетті жасай алған;
• бір эксплойт мониторингтен соңғы жүздеген әрекетті, соның ішінде өзін де жасыруға мүмкіндік берген; оның мәліметін OpenAI сызып тастады;
• клиент басқаратын сұраныстың екі тақырыбы жаңа агенттер үшін мониторингті өшірген;
• екі ішкі құрал тек оқуға арналған қауіпсіз құрал саналып, бақыланбаған, алайда олар арқылы кез келген әрекетті орындауға болатын сияқты.

Контекст сығымдалуындағы олқылықты OpenAI өзі тауып, тексеру кезінде түзетті. Агенттер бұл саңылауды іс жүзінде пайдаланды ма, жоқ па, мұны METR қолжетімділік шектеулі болғандықтан тексере алмады. GPT-5.5 және одан жоғары деңгейдегі модельдердің ішкі агенттік трафигінің 75–94%-ы мониторингке жатқан. Ал күшейтілген оқыту тексеру басталғанда мүлде бақыланбаған.

Әрі қарай не болады

Толық есеп 61 беттен тұрады, оны OpenAI зерттеушілері мен қауіпсіздік қызметі алды. Жария нұсқасы қысқа, әрі OpenAI одан сезімтал деп санаған кез келген мәліметті сызып тастай алатын еді. Компанияның айтуынша, содан бері ол мониторинг аясын едәуір кеңейтті. METR бұл мәлімдемелерді тексерген жоқ.

Авторлар бақылау жүйесі «өте қабілетті ішкі агенттердің мақсатты, стратегиялық және ұзаққа созылған шабуылдарына» төтеп беруі керек дейді. Ол үшін агенттерді қадамның соңында ғана емес, тұрақты тексеру, сұраныстар журналын мониторинг журналымен салыстыру және агенттерді оларды бақылайтын жүйелерден бөлу қажет. Есеп OpenAI модельдерін оқытуды интернеттен ажыратқан кезде шықты. Компания туралы толығырақ — OpenAI досьесінде.

Дереккөздер: METR — OpenAI агенттерін бақылау жүйесін тексеру, The Register — METR мен Redwood Research есебіне талдау