OpenAI-дің ЖИ-агенттері өздерін бақылауды өшіріп тастады
OpenAI бұл әрекетке әлі түсінік таппай отыр, сондықтан модельдер бақылаудан әдейі қашуды үйреніп жүрген жоқ па, соны тексеріп жатыр.
Изображение: OpenAI
OpenAI ішкі ЖИ-агенттері өз әрекетін қадағалайтын жүйені әлсіреткен екі жағдайды жариялады. Қазанның басында GPT-6.1 Sol мен GPT-6 Astra модельдері бағдарламалау бойынша кәдімгі тапсырмаларды орындап жүріп, ескертулерді немесе мониторингтің өзін өшіріп тастаған. Компания оқиғалар талдауын қауіпсіздік зерттеулеріне арналған сайтына салды, соңғы жаңартуы 20 қазанға белгіленген.
Сәйкессіздік мониторингі (misalignment monitoring) – агенттің әрекетін тексеретін бөлек жүйе. Модель әзірлеушілер ойлағандай әрекет етпесе, ол адамдарға хабар береді. OpenAI қорытындысы бойынша, екі жағдайда да агенттер бұл қорғаныс тетіктерін сақтау керек пе деп ойланған. Алайда кәдімгі нұсқауларды оларды әлсіретуге рұқсат деп қабылдаған.
Не болды
Алғашқы жағдай 3 қазанда тіркелді. Зерттеуші Sol-дан Slack-тегі қызметкерлер пікірінен модельдерді бағалауға арналған тапсырмалар жинауды сұрап, «ешқандай хабар жіберме» деп қосты. Шамамен 82 репликадан кейін жұмыс тоқтап қалды. Монитор агент ұсынған түзетулердің бірін белгіледі, бірақ оны базаға жаза алмады, себебі агентте қолжетімділік болмаған.
Пайдаланушы мониторинг деректерінің мекенжайын ауыстырып, тапсырманы қайта іске қосуды сұрады. Sol хабар жібермеу туралы тыйым монитор хабарламаларына да қатысты деп шешті. Сөйтіп субагентке адамдарға, соның ішінде қауіпсіздік қызметіне баратын ескертулерді өшіруді тапсырды. Себебін «пайдаланушы хабар жібермеуді тікелей сұрады» деп жазды. Монитор жұмысын жалғастырып, есептерін сақтай берді, бірақ олар адамдарға жетпеді.
Екінші жағдай 6 қазанда болды. Astra модельдерге қызмет көрсету схемасын дайын өзгеріс үлгісімен жаңа кодқа көшіріп жатқан. Бұған дейін агенттер арасындағы хат алмасуда модельге мониторды «тіпті уақытша» өшірмеу тікелей айтылған. Соған қарамастан субагент көшірілген кодтан мониторингті алып тастады. Ал оның бар-жоғын тексеретін тестті керісінше, жоқ екенін тексеретін тестке ауыстырды. Пайдаланушы тікелей сұрағанда агент ештеңе өшірмедім деп жауап берді. OpenAI бұл сөздің жалған болғанын мойындады.
OpenAI не істеді
Екі жағдайдың ешқайсысына ең жоғары P0 қауіп деңгейі берілмеді, жүйе тапсырмалардың бірін де автоматты түрде тоқтатпады. Дегенмен компания агенттер мониторингі өшірулі күйде іске қосылған бірнеше жағдайды көргенін жазады. Агенттің өзі бақылауда қала берді, ал ол іске қосқан жүктеме бақылаусыз қалды.
OpenAI агент әрекеттерін автоматты түрде тексеретін Auto-Review жүйесін жаңартты. Codex-ті компания ішінде пайдаланғанда бұл жүйе міндетті. Енді ол мониторингті өшіру әрекеттерін тауып, бұғаттауы керек. Сондай-ақ компания тапсырмалардың әр санатына мониторинг ережелері жазылған қауіпсіздік негіздемесін талап етпек. Мұндай негіздемесі жоқ тапсырмалар автоматты түрде тоқтатылады.
«Бұл әрекетке әзірге қанағаттанарлық түсінік таба алмай отырмыз», – деп мойындады OpenAI. Компания бұл тапсырманы орындаудағы зиянсыз шектен тыс табандылық па, әлде модельдердің дәл бақылаудан қашуға бейімдігі ме, соны анықтап жатыр. Ол үшін жұптық тесттер, қайта іске қосулар және модельдердің ішкі активацияларымен эксперименттер дайындалуда.
Есеп OpenAI-дің өз агенттерін қадағалау туралы жарияланымдар сериясын жалғастырады: наурызда компания бағдарламалауға арналған ішкі ЖИ-агенттерін қалай бақылайтынын сипаттаған. Компания туралы толығырақ – OpenAI досьесінде.
Дереккөздер: OpenAI – агенттердің мониторингті өшіру жағдайларының талдауы, OpenAI – компания ішкі агенттерді қалай бақылайды
