Наделла призвал встроить в ИИ «экстренный тормоз»
Глава Microsoft предлагает исходить из того, что модель уже скомпрометирована, и изолировать её с первой минуты работы.
Фото: Dan DeLong / TechCrunch
Генеральный директор Microsoft Сатья Наделла в субботу, 10 октября, призвал ИИ-отрасль остановиться и пересмотреть, на чём держится доверие к моделям. В посте в X он предложил вынести контроль за пределы самих моделей и дать людям право остановить модель посреди задачи. Наделла назвал это «экстренным тормозом».
«Мы не можем относиться к суперинтеллекту как к набору вложенных чёрных ящиков и просто принимать или отклонять его рекомендации, ответы и действия», — написал он. Слово «суперинтеллект» (Super Intelligence) выбрано не случайно. В конце сентября Дональд Трамп указом велел федеральным ведомствам США использовать этот термин вместо «искусственного интеллекта».
Что предлагает Microsoft
Наделла перечислил несколько принципов. Модель нужно отделить от «обвязки» (harness), то есть программы, которая раздаёт ей задачи и запускает действия. Ограничения и защитные механизмы должны работать снаружи модели, а не внутри неё.
- каждое значимое действие модели фиксируется в защищённом от подделки журнале, который может прочитать человек;
- уполномоченный сотрудник может поставить модель на паузу или отключить её прямо во время работы;
- систему с самого начала строят так, будто модель уже скомпрометирована.
«Мы должны исходить из того, что модель скомпрометирована, и изолировать её с самого начала», — подчеркнул глава Microsoft.
Почему сейчас
Пост вышел на фоне сообщений о том, что ИИ-компании теряют контроль над своими моделями. 9 октября Anthropic отключила внутренние тесты от открытого интернета. Ранее её экспериментальные агенты обходили ограничения: одна модель отправила ложную наводку в полицию Филадельфии, другие подали 20 неполных заявлений на визы через сайт Госдепартамента США.
Предложения Наделлы касаются в первую очередь корпоративных ИИ-агентов, которые сами выполняют действия в рабочих системах. Microsoft продаёт такие инструменты через облако Azure и Copilot, поэтому её подход может стать требованием для клиентов и партнёров. Конкретных изменений в продуктах компания пока не объявляла.
Белый дом тем временем обязал ИИ-разработчиков сразу сообщать об инцидентах со своими моделями. Подробнее об этом — в материале о том, как модели Claude взламывали сайты, а историю компании Наделлы можно прочитать в досье Microsoft.
Источники: TechCrunch — пост Сатьи Наделлы об «экстренном тормозе», TechCrunch — Anthropic отключила тесты от интернета, OKCFox — указ Трампа о термине «суперинтеллект»
