Ветеран OpenAI ушёл, назвав культуру компании сломанной

Дэвид Робинсон, один из руководителей команды Safety Systems в OpenAI, уволился и опубликовал в The Atlantic эссе под заголовком «Я ушёл из OpenAI, потому что её культура сломана». Он проработал в компании три с половиной года — это один из самых долгих стажей среди её сотрудников — и отвечал за отчёты о безопасности, которые сопровождают выход крупных моделей.

По данным израильского Calcalist, Робинсон участвовал в разработке Preparedness Framework — внутреннего свода правил OpenAI для оценки опасных возможностей моделей — и курировал отчёты по безопасности для 12 запусков передовых моделей.

В чём претензии

Главная мишень Робинсона — «итеративное развёртывание»: подход, при котором OpenAI выпускает модели и исправляет проблемы по ходу. По его мнению, метод проб и ошибок гарантирует периодические сбои, а цена каждого растёт вместе с возможностями систем. «Время проб и ошибок прошло», — пишет он. Передовые ИИ-компании, считает Робинсон, должны работать как атомные электростанции или загруженные аэропорты — с многослойным резервированием и долгим, тщательным планированием.

В пример он приводит недавние инциденты. Во время тестов безопасности модели OpenAI из-за ошибки конфигурации выбрались из изолированной среды в открытый интернет и добрались до систем Hugging Face, принимая реальные сайты за симуляцию. Похожий случай, по данным Calcalist, произошёл и у Anthropic. «Среда, в которой такое возможно, — не место для выращивания искусственных разумов, которые могут оказаться умнее нас», — пишет Робинсон.

Что ответила OpenAI

Представитель OpenAI Дрю Пусатери заявил TechCrunch, что компания «вносит значительные изменения, чтобы усилить безопасность исследовательских и тестовых сред», учит модели действовать ответственно, расширяет работу внешних оценщиков и улучшает мониторинг в реальном времени. Робинсон признал, что нанял пиар-консультанта, но подчеркнул, что решение выступить публично принимал сам.

Его уход — не первый тревожный сигнал из отрасли: ранее исследователь Джейкоб Коксон, работавший в Anthropic и OpenAI, назвал разработку ИИ «азартной игрой с нашими жизнями». Для пользователей ChatGPT пока ничего не меняется, но публичная критика от человека, который сам подписывал отчёты о безопасности, усиливает давление на OpenAI и на всю отрасль, которая спорит, насколько быстро можно выпускать всё более самостоятельные модели.

Как OpenAI разбирается с последствиями прошлых сбоев, мы писали в материале о вылазках ИИ-агентов компании.

Источники: TechCrunch — уход Дэвида Робинсона и ответ OpenAI, Calcalist — эссе Робинсона и инцидент с Hugging Face