Масштабирование больших языковых моделей, возможно, достигло своих пределов /Фото: JLStock / Shutterstock.com
На прошлой неделе случился сбой на серверах Amazon, который имел глобальные последствия: он обрушил на некоторое время работу множества крупных сайтов и компаний. Событие наглядно показало, как сильно современный мир зависит от обычно невидимых пользователю облачных сервисов, предоставляющих услуги аренды вычислительных мощностей и программ через интернет. Однако бум ИИ движет нас в этом направлении еще дальше, спровоцировав настоящую лихорадку строительства новых облачных дата-центров. Которые, может быть, в таком количестве и не нужны.
В плену облаков
Сбой у Amazon начался в 3 часа утра по Нью-Йорку в понедельник 20 октября и его ликвидация затянулась на долгих 15 часов. Только к шести вечера компания отрапортовала, что последствия ошибки устранены.
Обычно мы не задумываемся, в какой степени зависим от облачных сервисов — огромной и быстрорастущей индустрии, которую, собственно, Amazon и изобрел в 2006 году (подробнее почитать об этом можно здесь). Общая выручка инфраструктурных облачных сервисов по прогнозу Statista достигнет $400 млрд уже в этом году. Amazon лидирует на этом рынке с долей около 30%, еще 20% у Microsoft и 13% у Google — как нетрудно заметить, эти компании, называемые «гиперскейлерами» за стремительное наращивание своих облачных мощностей, уже контролируют без малого две трети рынка.
Миллионы бизнесов по всему миру доверяют им свои сервисы и данные, потому что арендовать вычислительные мощности проще и удобнее, чем закупать, администрировать и модернизировать собственные.
В журнале Fortune Крис Бэр, коммерческий директор и партнер Stream Data Centers написал:
Без центров обработки данных полеты были бы приостановлены (пилоты не могли бы получать информацию о погоде, а планы полетов были бы недоступны), связь стала бы примитивной, платежи перестали бы обрабатываться — даже служба 911, работающая через онлайн-систему, перестала бы работать. И это только начало.
Он-то нахваливал современные дата-центры как одно из важнейших достижений цивилизации, но не прошло и двух недель, как эта правда обернулась обратной стороной: если крупный облачный сервис выходит из строя, начинает рушиться все вокруг.
Лично у меня в понедельник отказался работать Zoom, но это были просто цветочки. Крупнейшие мировые компании, включая Netflix, Starbucks, United Airlines, Delta Air Lines, McDonald’s и многие другие временно не смогли предоставить клиентам доступ к своим онлайн-сервисам, перечисляет CNN. По данным BBC, сбой затронул более тысячи компаний и миллионы интернет-пользователей.
«Облачные вычисления — это чудо, но в основе их лежит бесконечный список сложных сервисов и зависимостей, которые всегда находятся в одной конфигурации от сбоя», — цитирует журнал Wired Марка Сент-Джона, соучредителя стартапа по системной безопасности Neon Cyber.
Справедливости ради нужно отметить, что сбои в облачных сервисах Amazon случаются, как правило, не чаще чем раз в год, но если уж происходят, то, как говорится, на все деньги.
То ли еще будет
Проблема в том, что перспективная технология искусственного интеллекта тоже зависима от облачных сервисов — огромных дата-центров, оснащенных специально оптимизированными для обучения и применения ИИ процессорами.
Это связано с тем, что компьютеры, необходимые для работы инструментов ИИ, мощные и дорогие, а локальное оборудование не так легко модифицировать в соответствии с меняющимися потребностями бизнеса. Разумнее арендовать эту компьютерную мощность и платить за нее только по мере необходимости, отмечает CNN.
Сегодня это может показаться гипотетическим сценарием, но технологическая индустрия обещает быстрый переход к использованию ИИ-агентов, автономных программ, которые будут выполнять больше работы от имени людей в ближайшем будущем, и это может сделать компании, школы, больницы и финансовые учреждения еще более зависимыми от облачных сервисов
В 2024 году McKinsey опросило 1491 компанию из 101 страны — и 78% респондентов заявили, что их организации используют ИИ как минимум в одной бизнес-функции. Годом ранее этот показатель составлял 55%.
По оценке агентства, к 2030 году мировые капитальные затраты на инфраструктуру центров обработки данных (без учета ИТ-оборудования) превысят $1,7 трлн, причем львиную долю прироста обеспечат потребности ИИ — они потребуют 156 ГВт мощности дата-центров против 64 ГВт у всех остальных приложений.
Не даром именно в эту сферу изо всех сил рвется компания Oracle, которая видит в ИИ свой шанс стать еще одним гиперскейлером, упущенный в начале 2010-х из-за скептического отношения ее сооснователя Ларри Эллисона к облачным вычислениям.
По мере распространения ИИ сбои в работе центров обработки данных могут происходить чаще, поскольку модели искусственного интеллекта очень энергоемки, приводит CNN мнение старшего аналитика Emarketer Джейкоба Борна.
Впрочем, есть и свет в конце тоннеля: в бизнес дата-центров для ИИ заходят новые игроки, такие как уже упомянутая Oracle, Meta и OpenAI, да и сам ИИ может помочь обнаружить и устранить уязвимости безопасности, «если компании будут инвестировать в эти возможности так же, как в такие модные и популярные инструменты, как чат-боты на основе ИИ и приложения для создания видео», полагает Даффи.
Это все хорошо, но что, если гигантские дата-центры, в которые OpenAI уже обязалась вложить более $1 трлн, и вовсе не понадобятся?
Кроткие наследуют ИИ-мир
«Блаженны кроткие, ибо они наследуют землю» — цитата из Нового завета, Евангелие от Матфея. И часть названия научной работы Массачусетского технологического института (MIT), явно не без умысла названная «Кроткие модели наследуют землю».
Глубочайшая вера гендиректора OpenAI Сэма Альтмана в то, что ИИ тем лучше, чем больше доступные ему вычислительные мощности, подвергается сомнению.
«За последнее десятилетие наблюдалось невероятное масштабирование систем ИИ несколькими компаниями, что привело к неравенству в производительности моделей ИИ. В данной статье утверждается, что, вопреки преобладающей интуиции, убывающая отдача от масштабирования вычислений приведет к конвергенции возможностей моделей ИИ. Другими словами, «кроткие» модели (с ограниченным вычислительным бюджетом) унаследуют мир, приближаясь к уровню производительности лучших моделей в целом», — пишут авторы исследования.
«Лаборатории искусственного интеллекта стремятся построить центры обработки данных размером с Манхэттен, каждый из которых стоит миллиарды долларов и потребляет столько же энергии, сколько небольшой город. Эти усилия основаны на глубокой вере в «масштабирование» — идеи о том, что добавление вычислительной мощности к существующим методам обучения ИИ в конечном итоге приведет к созданию сверхразумных систем, способных выполнять любые виды задач. Однако все больше исследователей в области искусственного интеллекта утверждают, что масштабирование больших языковых моделей, возможно, достигло своих пределов и что для повышения производительности искусственного интеллекта могут потребоваться другие прорывы», — вторит им TechCrunch.
По оценке исследователей из MIT, в течение ближайшего десятилетия производительность передовых ИИ, работающих в гигантских дата-центрах, будет постепенно снижаться, в то время как благодаря совершенствованию алгоритмов эффективность моделей, работающих на более скромном оборудовании будет расти, сокращая разрыв, пишет Wired.
В качестве примера журнал приводит случай с китайской недорогой и эффективной ИИ-моделью DeepSeek, которая в январе 2025 года обвалила американский технологический рынок на $1 трлн.
Вызов масштабированию бросает и Thinking Machines Lab — стартап, созданный бывшим техническим директором OpenAI Мирой Мурати. Путь вперед заключается не в увеличении объемов обучения, а в повышении качества обучения, цитирует Venturebeat научного сотрудника Thinking Machines Рафаэля Рафаилова.
Схожей точки зрения придерживается и Сара Хукер, бывшая руководительница исследований в ИИ-лаборатории Cohere, а ныне соосновательница стартапа Adaption Labs. В интервью TechCrunch она рассказала, что Adaption Labs создаёт системы искусственного интеллекта, способные непрерывно адаптироваться и обучаться на основе реального опыта, делая это чрезвычайно эффективно, но раскрыть подробности отказалась.
«OpenAI и другие американские технологические компании подписали соглашения на сотни миллиардов долларов на создание инфраструктуры искусственного интеллекта в США… Всё больше экспертов сомневаются в целесообразности подобных сделок», — полагает Wired.
И что же случится, если победят «кроткие»?
«Темное волокно» и Ветхий Завет
Возможный сценарий подсказывает нам история «переизбытка оптоволокна» (fiber glut), приключившаяся в эпоху «пузыря доткомов» в конце 90-х — начале 2000-х годов.
В 1998 году Министерство торговли США обнародовало ультраоптимистический прогноз, согласно которому интернет-трафик должен был удваиваться каждые 100 дней, то есть расти примерно в 10 раз за год, писала в 2002 году The Wall Street Journal.
На волне ажиотажа телекоммуникационные компании проложили миллионы километров оптоволоконного кабеля под улицами и на океанском дне. Прогнозы оказались ошибочными. Трафик рос, но отнюдь не так быстро. В итоге в 2002 году использовалось лишь 2,7% проложенных линий. Значительная часть оставшегося оптоволокна, называемого в отрасли «темным волокном», рисковала навсегда остаться без использования. Избыток мощностей привел к падению цен на пропускную способность в среднем на 65%, а большинство компаний, предоставляющих услуги передачи данных на большие расстояния, — к банкротству, писала WSJ.
Акции Corning, крупнейшего в мире производителя оптического волокна, рухнули с $109 в 2000 году до $1,6 к 2002 году. Компания, впрочем, выжила и сейчас чувствует себя неплохо с капитализацией около $75 млрд, хотя до пиков 2000 года ее акции еще не добрались. Так повезло не всем. Один из крупнейших операторов связи WorldCom, также как и многие другие компании вроде Global Crossing, Winstar Communications, Metromedia Fiber Network подверглись реструктуризации или ликвидации, пишет Fierce Network, проводя параллель между теми временами и нынешним бумом дата-центров для ИИ.
Если уж мы обратились к библейским цитатам, вот еще одна: «Что было, то и будет; и что делалось, то и будет делаться, и нет ничего нового под солнцем», говорит Экклезиаст.
Если в прошлом мы учились на ошибках через банкротства и крах акций, то сегодня ставки выше: от стабильности облачной инфраструктуры зависит не только бизнес, но и здравоохранение, транспорт, безопасность.
Будущее, скорее всего, окажется гибридным: часть задач будет решаться в гигантских дата-центрах, а часть — на локальных, энергоэффективных и «кротких» моделях. Кто сумеет найти баланс между мощью и разумностью, тот и унаследует не только землю, но и следующую технологическую эпоху.