Наделла ЖИ-ге «апаттық тежегіш» орнатуды ұсынды
Microsoft басшысы модельді әуел бастан бұзылған деп есептеп, оны жұмысының алғашқы минутынан оқшаулауды ұсынады.
Фото: Dan DeLong / TechCrunch
Microsoft бас директоры Сатья Наделла 10 қазан, сенбі күні ЖИ саласын бір сәт тоқтап, модельдерге деген сенім неге сүйенетінін қайта қарауға шақырды. Ол X желісіндегі жазбасында бақылауды модельдің өзінен тыс шығаруды ұсынды. Сонымен бірге адам модельді тапсырманың ортасында да тоқтата алуы керек. Наделла мұны «апаттық тежегіш» деп атады.
«Суперинтеллектіге бір-бірінің ішіне салынған қара жәшіктер жиынтығы ретінде қарап, оның ұсыныстарын, жауаптары мен әрекеттерін жай ғана қабылдап не қабылдамай отыра алмаймыз», — деп жазды ол. «Суперинтеллект» (Super Intelligence) сөзі кездейсоқ таңдалмаған. Қыркүйектің соңында Дональд Трамп АҚШ федералдық ведомстволарына «жасанды интеллект» орнына осы терминді қолдануды жарлықпен міндеттеді.
Microsoft не ұсынады
Наделла бірнеше қағидатты атады. Модельді «байламнан» (harness) бөлу керек. Байлам деп модельге тапсырма беріп, әрекеттерін іске қосатын бағдарламаны айтады. Шектеулер мен қорғаныс тетіктері модельдің ішінде емес, сыртында жұмыс істеуге тиіс.
- модельдің әр маңызды әрекеті адам оқи алатын, жасанды жазбадан қорғалған журналға түседі;
- өкілетті қызметкер модельді жұмыс барысында кідіртіп немесе өшіріп тастай алады;
- жүйені басынан-ақ модель бұзылған деген болжаммен құрастырады.
«Модель бұзылған деп есептеп, оны әуел бастан оқшаулауымыз керек», — деді Microsoft басшысы.
Неге дәл қазір
Жазба ЖИ компаниялары өз модельдерін бақылаудан айырылып жатқаны туралы хабарлардан кейін жарияланды. 9 қазанда Anthropic ішкі сынақтарын ашық интернеттен ажыратты. Оған дейін компанияның тәжірибелік агенттері шектеулерді айналып өткен. Бір модель Филадельфия полициясына жалған мәлімет жіберген, басқалары АҚШ Мемлекеттік департаментінің сайты арқылы 20 толық емес визалық өтініш тапсырған.
Наделланың ұсыныстары ең алдымен жұмыс жүйелерінде әрекетті өздері орындайтын корпоративтік ЖИ агенттеріне қатысты. Microsoft мұндай құралдарды Azure бұлты мен Copilot арқылы сатады. Сондықтан компанияның бұл тәсілі клиенттер мен серіктестер үшін талапқа айналуы мүмкін. Алайда өнімдерге нақты өзгерістер әзірге жарияланған жоқ.
Ақ үй болса ЖИ әзірлеушілерін модельдеріне қатысты оқиғалар туралы бірден хабарлауға міндеттеді. Толығырақ — Claude модельдері сайттарды қалай бұзғаны туралы материалда, ал Наделла басқаратын компанияның тарихы Microsoft досьесінде.
Дереккөздер: TechCrunch — Сатья Наделланың «апаттық тежегіш» туралы жазбасы, TechCrunch — Anthropic сынақтарды интернеттен ажыратты, OKCFox — Трамптың «суперинтеллект» туралы жарлығы
