Инженеры Meta не смогли существенно улучшить возможности большой языковой модели Llama 4 под названием Behemoth / Фото: Rokas Tenys / Shutterstock.com

Meta Platforms, владеющая Facebook, Instagram и приложением Meta AI, столкнулась с техническими и организационными сложностями в разработке флагманской большой языковой модели Llama 4 Behemoth. Из-за этого релиз продукта был отложен на несколько месяцев, при этом руководство компании вообще сомневается, нужно ли выпускать его в свет. С проблемами в разработке новых моделей столкнулись также Anthropic и OpenAI, что говорит о замедлении прогресса в отрасли в целом, пишет The Wall Street Journal.

Детали

Meta отложила на сентябрь запуск флагманской ИИ-модели нейросети Llama 4, что вызвало внутреннюю обеспокоенность по поводу выделения многомиллиардных инвестиций в ИИ, сообщили источники The Wall Street Journal.

Инженеры Meta не смогли существенно улучшить возможности большой языковой модели (LLM) под названием Behemoth. Это вызывает у сотрудников компании сомнения по поводу того, достаточно ли она превосходит предыдущие версии и оправдан ли ее публичный запуск, пишет издание.

В апреле Meta заявила, что вскоре представит предварительную версию Llama 4 Behemoth, которую она назвала «одной из самых умных языковых моделей в мире и нашей самой мощной на сегодня — в качестве учителя для новых моделей», писало агентство Reuters. Meta хотела успеть к своей первой конференции для разработчиков ИИ в апреле. Однако к мероприятию компания представила две менее мощные модели: Llama 4 Scout и Llama 4 Maverick. Внутренний дедлайн для Behemoth был сдвинут на июнь. А сейчас релиз отложен как минимум до осени, утверждают источники WSJ.

По их словам, инженеры и исследователи Meta опасаются, что фактическая производительность Behemoth не соответствует заявлениям о ее возможностях. Хотя публично Meta хвалила Behemoth, утверждая, что по ряду тестов он уже превосходит аналоги от OpenAI, Google и Anthropic, в компании признают, что эффективность модели сдерживается проблемами с обучением, утверждает WSJ.

По словам источников издания, топ-менеджеры компании недовольны результатами команды, разработавшей Llama 4, и винят ее в задержках с Behemoth. Meta рассматривает возможность серьезных кадровых перестановок в подразделении, отвечающем за ИИ-продукты.

Представитель Meta отказался от комментариев WSJ. Акции Meta на торгах 15 мая дорожали на 10%, но после публикации WSJ растеряли часть прогресса, завершив день ростом на 8%.

Что не так с семейством Llama 4 

Первая версия Llama была разработана исследовательской группой Fundamental AI Research (FAIR) внутри Meta. В основном FAIR состояла из академиков с докторскими степенями, пишет WSJ. В начале 2023 года они опубликовали первые ИИ-модели и сопровождающее исследование. С тех пор 11 из 14 соавторов той первой статьи покинули компанию. Разработкой следующих версий Llama занималась уже другая команда.

О проблемах в разработке моделей семейства Llama 4 ранее сообщало издание The Information. Модели Scout и Maverick, выпущенные в апреле, изначально показали высокие результаты в рейтинге чат-ботов. Однако, по данным The Information, позднее выяснилось, что версия, представленная для оценки, отличалась от выпущенной на пользовательскую аудиторию. Организаторы рейтинга отметили, что Meta следовало бы четче обозначить, что в тесте участвовала специально оптимизированная модель. Гендиректор Meta Platforms Марк Цукерберг признал, что компания действительно отправила авторам рейтинга версию модели, доработанную под внешний бенчмарк, пишет WSJ.

ИИ достиг технологического предела?

Другие ведущие разработчики ИИ также сталкиваются с задержками в релизах флагманских моделей. Некоторые исследователи видят в этом признаки того, что дальнейшие прорывы в ИИ могут происходить значительно медленнее и потребуют колоссальных затрат, пишет WSJ.

«Во всех лабораториях и по всем моделям прогресс сейчас довольно скромный», — сказал WSJ доцент и научный сотрудник Центра науки о данных Нью-Йоркского университета Равид Шварц-Зив. 

К примеру, OpenAI планировала выпустить модель GPT-5 к середине 2024 года, однако в декабре стало известно, что разработка отстает от графика. В феврале OpenAI представила модель, которая должна была стать GPT-5, как GPT-4.5, поскольку технологического прорыва не случилось. Сейчас основной моделью ChatGPT является версия GPT-4o. OpenAI не комментирует сроки релиза GPT-5.

Anthropic в прошлом году анонсировал модель Claude 3.5 Opus — более крупную версию уже выпущенных моделей. Однако эта версия до сих пор не представлена. Компания утверждает, что Opus «выйдет в ближайшее время».

Поделиться