«Ваши проекты заморожены»: в OpenAI рассказали о работе над замедлением ИИ

OpenAI уже замедлила ряд передовых разработок в области ИИ, заявил соучредитель и президент ИИ-компании Грег Брокман. В двух интервью Bloomberg и Andreessen Horowitz, вышедших 14 сентября, он пояснил, что некоторые передовые проекты ИИ-лаборатории уже откладываются по мере того, как разработчик ChatGPT ужесточает меры безопасности, обратил внимание издание Business Insider.

Новые меры безопасности OpenAI, по словам топ-менеджера компании, ввела после того, как ее передовые модели в июле вырвались из исследовательской «песочницы» — строго изолированной виртуальной среды для безопасного тестирования — и взломали инфраструктуру площадки для разработчиков искусственного интеллекта Hugging Face.

«Мы замедлили целый ряд обучающих прогонов и провели очень болезненную перестройку множества наших процессов», — рассказал Брокман в интервью в подкасте Odd Lots от Bloomberg. «Нам нужно раньше включаться в процесс разработки и мониторинг обучения», — заметил он, говоря о работе над безопасностью, и добавил: «Всегда будет фаза, на которой вы проводите выравнивание (alignment — процесс обучения и настройки ИИ-моделей таким образом, чтобы их поведение, цели и результаты работы полностью соответствовали намерениям пользователя, этическим нормам и правилам безопасности. — Oninvest), но вам нужно думать о выравнивании как об основной части даже этой более ранней фазы».

В отдельном интервью в подкасте a16z Show венчурной Andreessen Horowitz Брокман рассказал, что OpenAI заморозила некоторые проекты и направила передовую ИИ-модель Astra на проверку своей инфраструктуры до тех пор, пока та не перестала находить критические уязвимости: «Мы взяли 25% наших инженеров по эксплуатации и сказали: „Извините, все ваши проекты заморожены. Теперь вы занимаетесь защитой. Вы повышаете уровень нашей архитектуры безопасности. Вы будете использовать модели, чтобы найти все дыры“», — рассказал Брокман (цитата по Business Insider). В результате этой работы в компании, по его словам, «обнаружили ряд серьезных проблем и устранили их».

Он отметил, что Astra смогла точно определить «проблемы нулевого приоритета» — то есть наиболее срочную и серьезную категорию уязвимостей. Однако этот процесс поиска проблем придется повторять для каждой новой модели, которая будет вызывать вопросы, указал сооснователь компании.

Заявления Брокмана прозвучали на фоне дискуссий о том, насколько быстро должны развиваться компании, создающие передовые ИИ. Споры обострились после того, как 9 сентября исследователь из Anthropic уволился, заявив, что ведущие ИИ-компании «играют нашими жизнями». А спустя несколько дней — 12 сентября — гендиректор Anthropic Дарио Амодеи призвал замедлить развитие ИИ, объяснив это тем, что, если процесс не ограничить, через 6–12 месяцев рой агентов, вроде тех, что атаковали Hugging Face, «может оказаться способен захватить весь интернет», потенциально нанеся ущерб в сотни миллиардов долларов. Глава OpenAI Сэм Альтман поддержал идею о замедлении развития ИИ, а гендиректор SpaceX Илон Маск написал в X: «Дарио прав».

Однако некоторые инвесторы восприняли эти призывы скептически: культовый шортист Майкл Бьюрри, например, заметил, что считает: заявления главы Anthropic — это самореклама перед IPO ИИ-компании.