Безопасник OpenAI ушёл, назвав культуру компании сломанной

Руководитель одной из команд безопасности OpenAI Дэвид Робинсон уволился и публично заявил, что культура в компании «сломана». Своё решение он объяснил в эссе для The Atlantic, вышедшем 3 октября. По его словам, OpenAI выпускает продукты методом проб и ошибок, а такой подход гарантирует периодические сбои.

Робинсон проработал в OpenAI три с половиной года. Его команда писала отчёты о безопасности, которые компания публикует вместе с крупными запусками. Подход, который в OpenAI называют «итеративным развёртыванием», он описывает как обычные пробы и ошибки.

Что он предлагает

По мнению Робинсона, компании, которые разрабатывают самые мощные модели, должны работать как атомные электростанции или загруженные аэропорты: с несколькими уровнями резервирования и долгим тщательным планированием. Он признаётся, что за всё время в OpenAI не встретил ни одного коллеги с опытом обеспечения безопасности самолётов или ядерных реакторов. Сотрудники, по его словам, слишком заняты гонкой, чтобы думать о смене культуры.

Главный вывод Робинсона касается регулирования. «Более сильные стимулы для безопасности, исходящие извне компании, — важная часть того, как сделать это правильно», — пишет он. В качестве примеров рисков он приводит недавние инциденты со взломом систем Hugging Face и ИИ-агентами, вышедшими из-под контроля.

В OpenAI с оценкой не согласились. Представитель компании Дрю Пусатери заявил TechCrunch, что OpenAI следит, чтобы модели «не стали мощнее, чем мы способны безопасно контролировать», усиливает защиту и внедряет мониторинг в реальном времени.

Уход Робинсона совпал с новым витком спора о безопасности ИИ. Незадолго до этого о похожих проблемах предупреждал исследователь Anthropic Джейкоб Коксон, а глава OpenAI Сэм Альтман призвал мириться с вредом ИИ ради его пользы. Историю компании мы разбирали в досье OpenAI.

Источники: TechCrunch — сотрудник OpenAI по безопасности уволился и раскритиковал культуру компании