OpenAI ардагері компания мәдениетін «сынық» деп кетіп қалды
Дэвид Робинсон үш жарым жыл бойы OpenAI-дың ірі релиздеріне қауіпсіздік есептерін дайындады, енді ол ЖИ зертханалары атом станциялары мен әуежайлар сияқты сақтықпен жұмыс істеуі керек деп талап етеді.
Фото: Samuel Boivin / NurPhoto via Getty Images
OpenAI-дағы Safety Systems командасының басшыларының бірі Дэвид Робинсон жұмыстан кетіп, The Atlantic басылымында «Мен OpenAI-дан кеттім, өйткені оның мәдениеті сынық» деген эссе жариялады. Ол компанияда үш жарым жыл істеді — бұл қызметкерлер арасындағы ең ұзақ еңбек өтілдерінің бірі — және ірі модельдердің шығуымен бірге жарияланатын қауіпсіздік есептеріне жауап берді.
Израильдік Calcalist басылымының дерегінше, Робинсон Preparedness Framework — OpenAI-дың модельдердің қауіпті мүмкіндіктерін бағалауға арналған ішкі ережелер жинағын әзірлеуге қатысқан және озық модельдердің 12 іске қосылуына арналған қауіпсіздік есептерін қадағалаған.
Наразылық неде
Робинсонның басты нысанасы — «итеративті енгізу»: OpenAI модельдерді шығарып, мәселелерді жол-жөнекей түзететін тәсіл. Оның пікірінше, сынақ пен қателік әдісі мезгіл-мезгіл ақауларға кепілдік береді, ал әрқайсысының құны жүйелердің мүмкіндіктерімен бірге өседі. «Сынақ пен қателік уақыты өтті», — деп жазады ол. Робинсонның ойынша, озық ЖИ компаниялары атом электр станциялары немесе қарбалас әуежайлар сияқты — көп қабатты резервтеумен және ұзақ әрі мұқият жоспарлаумен жұмыс істеуі тиіс.
Мысал ретінде ол жақында болған оқиғаларды келтіреді. Қауіпсіздік сынақтары кезінде OpenAI модельдері конфигурациядағы қатеге байланысты оқшауланған ортадан ашық интернетке шығып, нақты сайттарды симуляция деп қабылдап, Hugging Face жүйелеріне дейін жеткен. Calcalist мәліметінше, ұқсас жағдай Anthropic-те де болған. «Мұндай жағдай мүмкін болатын орта бізден ақылды болуы мүмкін жасанды сананы өсіретін орын емес», — деп жазады Робинсон.
OpenAI не деп жауап берді
OpenAI өкілі Дрю Пусатери TechCrunch-қа компания «зерттеу және сынақ орталарының қауіпсіздігін күшейту үшін елеулі өзгерістер енгізіп жатқанын», модельдерді жауапты әрекет етуге үйретіп, сыртқы бағалаушылардың жұмысын кеңейтіп, нақты уақыттағы мониторингті жақсартып жатқанын айтты. Робинсон PR-кеңесші жалдағанын мойындады, бірақ көпшілік алдында сөйлеу туралы шешімді өзі қабылдағанын атап өтті.
Оның кетуі — саладағы алғашқы дабыл емес: бұған дейін Anthropic пен OpenAI-да істеген зерттеуші Джейкоб Коксон ЖИ әзірлеуді «біздің өмірімізбен құмар ойын» деп атаған. ChatGPT пайдаланушылары үшін әзірге ештеңе өзгермейді, бірақ қауіпсіздік есептеріне өзі қол қойған адамның ашық сыны OpenAI-ға және барған сайын дербес модельдерді қаншалықты жылдам шығаруға болатыны туралы дауласып жатқан бүкіл салаға қысымды күшейтеді.
OpenAI бұрынғы ақаулардың салдарымен қалай күресіп жатқаны туралы компанияның ЖИ-агенттері туралы материалымызда жаздық.
Дереккөздер: TechCrunch — Дэвид Робинсонның кетуі және OpenAI жауабы, Calcalist — Робинсон эссесі және Hugging Face оқиғасы
