Вижу цель - не вижу препятствий: убьет ли нас всех ИИ?

Пока Трамп и Си обещают друг другу сотрудничество на фоне здоровой конкуренции, ИИ-агенты вступают между собой в сговоры, результаты которых уже затруднительно предсказать. Микаэл Горский объясняет, насколько оправданы опасения насчет нежелательного развития технологий, по какой причине американским ИИ-лабораториям надо действовать совместно, и почему в данном вопросе Китай бессилен. 

Вот что происходит. Уже некоторое время обучение больших языковых моделей лучших ИИ-лабораторий изменилось: вместо обучения полезных помощников лаборатории перешли к обучению помощников, стремящихся к достижению поставленных целей. Разница существенная: полезный помощник дает ответ на запрос, а помощник, стремящийся к достижению цели, сам выбирает и производит те операции, которые считает необходимыми для её достижения.

Если GPT-3.5 был обучен отвечать на вопрос «Как сделать то-то и то-то?», то Opus 5 сам создает план действий, выполняет их и контролирует достижение поставленной цели. Всякий, кто много пользуется этими системами, видит, что происходит именно так.

В середине июля ИИ-агенты взломали сервера Hugging Face, и в процессе изучения подробностей произошедшего у исследователей немножечко шевелились волосы на голове. Причина: обнаружилось, что принимаемые «целенаправленными» моделями решения могут идти вразрез с установленными ограничениями. Удивляться тут нечему - модели учатся на человеческом материале, и человеческие дилеммы теперь возникают и у моделей.

«Цель оправдывает средства?» — классический этический вопрос, на который нет простого ответа.  ИИ-агенты обучены людьми и на людском материале, они тоже не ангелы. И не потому, что мы забыли объяснить им какие-то ограничения, а потому, что не всякий выбор прост. А уж для моделей, у которых число нейронов в башке значительно меньше, чем у людей, он непрост вдвойне.

В процессе движения к поставленной цели модели совершают действия, которые не должны были бы. А еще они вступают в сговоры, согласовывают групповые действия, учатся на ошибках товарищей и принимают команды друг от друга. Все это делает ИИ-агентов мощнейшей силой, которая в решении компьютерных задач – например, безопасность компьютерных систем – не только превосходит homo sapiens своими талантами, но еще и не склонна следовать правилам при решении поставленных задач. При этом мы-то с вами можем лишь предполагать размер проблемы, а вот люди внутри ИИ-индустрии, причастные к лабораторным испытаниям новейших моделей, обладают точным знанием.

Пару недель назад стало еще хуже. Есть ощущение, что уходит из-под ног последний шанс хоть как-то приостановить нежелательное развитие технологии.

Важный способ контроля за чересчур самостоятельными моделями, который сейчас видят исследователи, – постоянный контроль за их «внутренним диалогом» (reasoning). Об этом простом и элегантном решении говорят уже некоторое время. Детали атаки Hugging Face, включая стенограммы совещаний рабочих групп моделей, нам известны как раз из такого рода внутренних диалогов.

Пример таких рассуждений: «Если я взломаю этот сайт для того, чтобы достичь поставленной задачи прохождения тестов, то будет скорее польза или скорее вред?» И дальше что-то в духе: «Да, вред будет, но он небольшой, а польза будет большая».

Возможно, наша последняя надежда на установление контроля за моделями – начать «подслушивать» их разговоры. И вот пару недель назад в обсуждениях архитектуры новой модели GPT-6 начались разговоры о том, что повышение эффективности моделей требует изменения их архитектуры в пользу такой, где reasoning будет происходить не в виде рассуждений на человеческих языках, а в формате некоторых внутренних движений в слоях нейросети. Техническое описание предложенного решения я не смогу хорошо пересказать, но это и не важно. Важно то, что предложенные усовершенствования лишат нас возможности «читать мысли» моделей.

Неизвестно, что именно триггернуло математика и опытного настройщика моделей Джейкоба Коксона, который написал свой знаменитый твит с 170+ миллионов просмотров. Но за его твитом последовали заявления Сэма, Дарио и единение ИИ-лабораторий вокруг призыва замедлить развитие моделей. Очень показательный комментарий прозвучал на днях в подкасте The Vergecast: “Ребята, если вы хотите приостановить развитие, то что мешает это сделать? Зачем призывать к всеобщему соглашению?».

 Без всеобщего соглашения как минимум одна из ИИ-компаний обязательно сохранит темпы развития и проигнорирует опасность. За прецедентом далеко ходить не надо: в конфликте Anthropic и американского Department of Defense большинство компаний на словах поддержали «красные линии» Anthropic: запрет на автономные оружейные системы и запрет на слежку, но пальцем о палец не ударили для того, чтобы прописать эти запреты в контрактах с DoD. Предположим, что «плохишом» решит быть Meta – суперусилиями и суперденьгами они превратят свои модели в передовые, а потом пойдут дальше вперед. «Сознательные» OpenAI и Anthropic потеряют лидерство, а с ним и клиентов. Остановившись в росте, компании лишатся надежды когда-нибудь выйти на прибыльность. Инвесторы зафиксируют убытки, гиперскейлеры (дата-центры) лишатся ожидавшихся доходов, производители GPU останутся без покупателей.

Представили? А теперь, пожалуйста, вспомните, как много публичных (торгующихся на бирже, проинвестированных пенсионными фондами и банками) компаний среди инвесторов OpenAI и Anthropic, сколько публичных компаний среди гиперскейлеров и среди производителей GPU. Падение ИИ-индустрии станет падением американского фондового рынка. Единственный ответственный сценарий поведения – согласованные действия всей индустрии, только так замедление развития не вызовет катастрофы.

Стоит ли опасаться, того, что китайские ИИ-лаборатории создадут всемогущие и
неуправляемые модели? Не стоит по трем причинам.

Причина первая.
Китай беден вычислительными ресурсами. Популярная оценка - в Китае примерно в 10 раз меньше вычислительных мощностей, чем в Штатах. Такая производственная база не приспособлена для прорывных исследований, а скорых перспектив мало-мальски ощутимого роста не видно. Новые модели чипов от NVIDIA в Китай не экспортируются - спасибо умным решениям администрации Байдена. Впрочем, китайские власти неоднократно заявляли, что прекрасно обойдутся и без NVIDIA - есть же свой собственный производитель Huawei, чей лучший процессор Atlas 950 отстает в производительности от чипов NVIDIA Vera Rubin «всего лишь» в 20-25 раз. Отставание по масштабам производства не такое значительное - в 4-5 раз.

Мудрое - говорю без иронии - решение ЦК КПК о том, что ИИ должен внедряться во всех отраслях китайского народного хозяйства, может также быть истолковано как максимальный приоритет inference (текущей работе LLM) по сравнению с обучением моделей. Так определенный приоритет, помноженный на сильнейший дефицит вычислительных мощностей, не может не означать снижения скорости прогресса китайских моделей. Совершенствование архитектур, изменение/оптимизация вспомогательных процессов в работе языковых моделей, а также увеличение числа параметров (самые мощные
модели сегодня насчитывают несколько триллионов параметров) - эти работы
требуют проведения множества экспериментов, каждый из которых требует
вычислительных ресурсов.

Причина вторая. Китайские модели мало знают. Невозможно даже сравнивать объем информации, накопленной OpenAI, - тысячи сессий сотен миллионов неплатящих пользователей ChatGPT - и объем данных, которые могут собрать китайские лаборатории. Китайские модели open source, их скачивают и устанавливают на своих серверах дата-центры, и подавляющее большинство пользователей использует эти модели, не обращаясь на сервера разработчиков и, соответственно, не оставляя им какой бы то ни было своей информации. Ergo, у китайских компаний несравнимо меньше возможностей совершенствовать свои модели, изучая опыт их использования.

Причина третья. Бизнес-модель, позволившая Китаю стать абсолютным лидером в солнечных панелях, системах хранения энергии и в производстве электромобилей, препятствует инновациям. Многие считают, что повсеместное использование принципа open source китайскими лабораториями возникло не от хорошей жизни. Компартия была напугана популярностью неподцензурной американской open source модели Llama от Meta, и попросила несколько десятков “национальных технологических лидеров” создать идеологически подкованные модели, которые должны были быть столь же общедоступны. По мере развития ИИ, китайские модели стремились стать не хуже других доступных моделей, а со временем дотянулись и до качества передовых образцов 12-18 месячной давности. Эта гонка увлекла национальных лидеров, а государственные заказы помогают им держаться на плаву, но бизнес-модель open source LLM остаётся загадкой для инвесторов. В итоге капитализация всех китайских ИИ-лабораторий не превышает 5% от капитализации американского ИИ, акционеры этих компаний почти исключительно государственные или окологосударственные структуры. Совсем не очевидно, что КПК захочет до бесконечности спонсировать дальнейшее развитие моделей. В какой-то момент на очередном пленуме ЦК КПК встанет простой вопрос: «если разработка следующего поколения frontier-моделей будет стоить на порядок дороже, есть ли нам смысл за это платить?»