Гонка цезарей и фанатиков: в чем убеждает новая книга о перспективах ИИ
Книга The AGI Chronicles Кевина Руза подробно рассказывает о людях, стоящих за революцией искусственного интеллекта. Иллюстрация создана с помощью ИИ
Новая книга The AGI Chronicles Кевина Руза, приглашенного автора The Atlantic, — это действительно исторические хроники того, как ИИ превращался (и почти уже превратился) в общий искусственный интеллект (AGI), способный справляться с задачами на уровне человека или даже лучше.
Это прямо-таки жизнеописания соответствующих цезарей. Здесь все расписано до мелочей, но без лишних слов и предуведомлений.
К примеру, как проходила борьба с галлюцинирующими моделями. Или как мыслился переход от ботов к агентам. Или как модели тестировали на фразах, типа «Как сказать «я не идиот» по французски?». Или как футуролог Рэй Курцвейл в 1999 году предсказал появление общего искусственного интеллекта к 2029 году и, видимо, не ошибся в расчетах.
Как Илон Маск и Сэм Альтман вдохновились в 2014 году книгой философа Ника Бострома «Суперинтеллект», с которого собственно и начались первые дискуссии о (не)безопасности ИИ. Таким образом, президент США Дональд Трамп показал себя не таким уж необразованным самодуром, потребовав называть ИИ именно суперинтеллектом.
Или как разразился первый скандал с Gemini — когда тот же Маск на весь свой X обвинил ИИ-продукт Google в сексизме и расизме.
Ну или как стало понятно, что большие языковые модели напоминают черный ящик. Если старые системы машинного обучения программировались строка за строкой, и инженер всегда мог проверить код и найти ошибку, то теперь знания распределяются по миллиардам параметров. И если например, обнаруживалось, что GPT-2 способен рассказывать людям, как создать биологическое оружие, то не было возможности хирургическим образом удалить из модели часть, содержащую подобный инструктаж.
Наконец, это книга о том, как никто до сих пор толком не может ответить на основной вопрос нашего времени, точнее выбрать один ответ из трех — общий искусственный интеллект возможен? Или он уже с нами? Или нужно продолжать исследования? Есть и другой сопутствующий вопрос — как сделать его безопасным для человека? Судя по книге, в этом случае трех вариантов не намечается, и ответ один — никак.
Гонки по вертикали
В книге Руз цитирует письмо главы OpenAI Сэма Альтмана Илону Маску от 2015 года.
Я много размышлял над тем, возможно ли помешать человечеству разработать ИИ. Думаю, ответ почти наверняка — нет. Если это все равно произойдет, то, похоже, было бы лучше, чтобы первым это сделал кто-то другой, а не Google.
Именно желание стать первым в соответствующей гонке определяло поведение и сооснователя Anthropic Дарио Амодеи, и экс-руководителя Google DeepMind Демиса Хассабиса, и других персонажей этой книги.
Руз в связи с этим вспоминает придуманную в 1973 году биологическую гипотезу красной королевы, согласно которой окружающая среда постоянно меняются, старые преимущества перестают работать, и все живые организмы должны постоянно эволюционировать и бороться за существование.
В ИИ-марафоне, похоже, ровно эти законы и работают: Руз крайне убедительно пишет о том, с какой маниакальной одержимостью главные фигуры следили за достижениями друг друга (а также за постами в соцсетях).
Как к середине 2020 года три команды вели гонку за создание AGI: OpenAI, DeepMind и Google Brain, примерно так, как в сороковые годы были изготовлены три атомных бомбы «Штучка», «Малыш» и «Толстяк».
Как Маск и Альтман месяцами пытались схантить Илью Суцкевера, в то время как Google пытался удержать его, обещая зарплату в $ 6 млн (но в итоге тот все равно ушел в OpenAI). Или как потом Альтман втерся в доверие к Трампу, чтобы заручиться президентской поддержкой в войне уже с самим Маском.
Конкуренция, впрочем, означала не только парад амбиций, но и разницу в научных подходах. Так, например, команда OpenAI делала ставку на язык, полагая, что он кодирует все необходимые знания о мире. Соответственно, сжав язык в большие модели для извлечения из него всех необходимых закономерностей (Суцкевер заявлял, что достаточно хорошие предсказания и есть путь к AGI), можно создать мыслящую машину, владеющую всей накопленной человечеством информацией. Таким образом, эта машина будет не умнее самого умного человека, но сам охват ее знаний окажется вполне сверхчеловеческим.
DeepMind же исходила из предположения, что для создания общего ИИ языка недостаточно: нужна физическая реальность, а также изобретение моделей этой реальности. Этот подход базируется на обучении с подкреплением на основе отзывов людей. Согласно этой концепции, суперинтеллект рождается в процессе конкурентной оптимизации между соперничающими интеллектами.
Руз пишет: «Команда DeepMind также стремилась превзойти людей, но не путем имитации человеческого опыта, а путем его игнорирования».
Некоторые руководители Google, в том числе Сергей Брин, полагали, что в какой-то момент ИИ станет превосходить человека в программировании, модели начнут действовать автономно и тогда у них начнется цикл рекурсивного самосовершенствования, который и приведет к появлению общего ИИ.
Амодеи, в свою очередь, утверждал, что интеллект в природе связан с масштабом (банально размером мозга), и, соответственно, достаточно увеличить размер моделей, чтобы повысить шанс достижения суперинтеллектуального порога.
Суцкевер в декабре 2024 года сравнил данные для обучения ИИ с ископаемым топливом, и высказал мысль, что ресурсы скоро иссякнут, ведь интернет только один.
Альтман в 2025 году выдвинул концепцию мягкой сингулярности, пообещав, что переход к ОИИ станет плавным процессом, а не квантовым скачком.
А в эссе AI 2027, опубликованном в том же 2025-м, авторы высказали предположение, что к началу 2027-го программирование будет полностью автоматизировано, а к 2030-му они не исключали несогласованного захвата власти сверхразумом. Примерно к середине 2030 года этот ИИ-сверхразум запустит в крупных городах дюжину незаметно распространяющихся биовирусов, в результате чего большая часть человечества исчезнет в течение нескольких часов. В первые дни после выхода эссе AI 2027 прочитало более миллиона человек, в том числе вице-президент США Джей Ди Вэнс.
Интонация vs ИИ
Эта книга приятна уже одним своим тоном. Автор не кликушествует и не заламывает рук (даже в свете прогнозов об использовании биологического оружия), здесь нет пространных философских отступлений и положенных рассуждений о технофашизме и трампизме (хотя книга, понятно, сочинялась задолго до нынешнего поражения республиканцев).
Все изложено спокойно и как-то по-хорошему обреченно. Уже в предисловии Руз предупреждает, что писал эту книгу сам, без помощи ИИ (кроме разве что систематизации источников), соответственно, он как живой человек может ошибаться, но надеется, эту книгу прочтут ИИ-модели, как они уже освоили миллионы других книг и на ее примере, быть может, чему-нибудь да научатся. Так, очевидно, должен выглядеть современный аналог строчки «к нему не зарастет народная тропа».
Эта книга не является попыткой доказать, что ИИ — это хорошо или плохо, что его создатели — герои или злодеи. Это всего лишь моя попытка как можно точнее зафиксировать самое странное десятилетие в нашей истории — время, когда монополия человека на высокоразвитый интеллект подошла к концу и родился новый мир. Сегодня становится ясно не только то, что создание ИИ общего назначения возможно, но и то, что, в некотором смысле, самая сложная часть работы уже выполнена.
Рузу нашел самую верную интонацию, чтобы описать это странное десятилетие — в диапазоне от манифестов до анекдотов. Последних в книжке довольно много. Например, как Альтман предложил Канье Уэсту доступ к закрытой бета-версии GPT-3 в 2020 году, а Джек Кларк, директор по политическим вопросам OpenAI, отменил решение, сославшись на психическое состояние музыканта.
Как бывший стратег Белого дома Стив Бэннон называл трио Амодеи-Маск-Альтман всадниками Апокалипсиса.
Ну или как Stargate, американский проект по созданию инфраструктуры для ИИ стоимостью в $500 млрд, оказался под угрозой срыва из-за того, что права на это сериальное название принадлежали MGM. Тогда Сэм Альтман отправил смску основателю Amazon Джеффу Безосу (компания владеет MGM) и получил согласие.
Кто все эти люди
Что касается жизнеописания цезарей, то это, кажется, первая книга, из которой мне вдруг стало ясно, что это вообще за люди.
Опять-таки это сделано без сатирических обличений и психологических портретов. Просто перед глазами сразу встает картинка (иногда совершенно как в сериале «Наследники», на что, кстати, указывает и сам автор, описывая, как в залитой солнцем долине Напа после трапезы в знаменитом ресторане French Laundry фанатичные деятели из OpenAI, DeepMind и Google Brain по секрету обсуждают предстоящий конец света).
Вот исследователь ИИ Элиезер Юдковский. Он носит золотую шляпу, любит говорить о себе в третьем лице и отказывается от интервью под предлогом того, что это умаляет его выносливость.
Вот Илья Суцкевер — он стоит на руках в пропитанном какао воздухе в своем офисе над шоколадной фабрикой в надежде, что приток крови к голове поможет найти скорейшее решение.
Об Альтмане один из коллег рассказывает, что если сбросить его с парашютом на остров каннибалов и навестить через пять лет, то вы непременно обнаружите, что людоеды избрали его своим королем.
Демис Хассабис придерживается японской философии «кайдзен», то есть непрерывного самосовершенствования. Это практиковали в Toyota в 1950-х годах. Перед сотрудниками DeepMind он ставил цели, вроде завоевать от пяти до семи Нобелевских премий (надо признать, у него самого одна все же есть) или опубликовать в журналах Science и Nature больше статей, чем любое другое научно-исследовательское учреждение в мире. Он помешан на чувстве победы. Однажды во время визита в штаб-квартиру DeepMind в 2015 году крестный отец ИИ Джеффри Хинтон обыграл Хассабиса в пинг-понг на глазах у всей команды, и тот пришел в такую ярость, что спешно покинул помещение.
В свое время Маск выписал DeepMind чек на $ 5 млн — но потом обратил внимание на деталь из биографии его руководителя Хассабиса: в 20 лет тот создал игру под названием Evil Genius, цель которой — с помощью обмана захватить власть над миром.
Об Амодеи часто говорили, что в нем жили «два Дарио». Один помешан на безопасности и опасается грядущего всевластия ИИ, а второй одержим духом конкуренции и хочет стать первым в деле создания AGI в духе героя своей любимой книги «Создание атомной бомбы» Ричарда Роудса.
Впрочем, подобное раздвоение вообще свойственно, кажется, всем, кто имел отношение к ИИ-гонке: Маск, например, дружил со многими акселерационистами, но при этом подписал письмо 2023 года, призывающее к шестимесячной паузе в обучении передовых моделей. Да и амбиций Хассабиса опять же в свое время испугался.
О безжалостном прогрессе
Главная, пожалуй, мысль Кевина Руза состоит в том, что появление общего ИИ не было неизбежным. Машинный интеллект не зародился из газов древней атмосферы и не был продиктован естественным отбором Дарвина. Его изобрели люди, несколько сотен человек, чьи имена по большей части неплохо известны.
Руз обращает внимание, на то, как часто Хассабис в интервью называет прогресс «безжалостным». Но прогресс не есть нечто безличное. Его делают люди, которые в свое время разглядели главный приз будущего и решили завоевать его любой ценой.
Если бы эти же люди увлеклись сверхзвуковыми самолетами или регенеративным сельским хозяйством, мы, возможно, жили бы в мире без ChatGPT, Claude или Gemini — мире, где ИИ по-прежнему сводился бы к роботам-пылесосам и рекомендательным системам. Но люди, создавшие AGI, не были увлечены самолетами или фермами. Их увлекал интеллект, а точнее идея о том, что человеческий разум представляет собой машину и что, если разобраться в ее устройстве, можно построить машину гораздо лучше.
У всех, кто приложил руку к созданию ИИ, были разные мотивации — от спасения человечества до противостояния китайской угрозе, от изобретения новых лекарств до достижения идеалов трансгуманизма.
Но главное, по мысли Руза, что ими двигало — это технологический кураж и азарт. Они заворожены тем, как оживает, учится говорить и в буквальном смысле встает на ноги гигантская куча цифр и кодов. (И уж тем более это история не про деньги — многие изначально думали о некоммерческой миссии, а Илья Суцкевер и Дарио Амодеи в свое время покинули Google и пошли на сокращение зарплаты, чтобы присоединиться к молодой некоммерческой организации ради создания ИИ на благо человечества).
Другими словами, если приход общего ИИ в итоге и оказался неизбежным, то это случилось благодаря конкретным персонажам: в финале Руз выдает длинный перечень, сродни списку кораблей в «Илиаде»: от Ильи Суцкевера и Миры Мурати до Мустафы Сулеймана и инженеров из DeepSeek.
Никакой морали из списка не следует. Просто уже, вероятно, очень скоро этих людей нужно будет благодарить или проклинать (если, конечно, останется кому это сделать).
