«Человечеству пора проснуться»: семь главных рисков ИИ из эссе главы Anthropic

Генеральный директор ИИ-стартапа Anthropic Дарио Амодеи опубликовал эссе из 19 000 слов, в котором предупредил, что развитие искусственного интеллекта создает «серьезный вызов цивилизации», и человечеству «пора проснуться» и это осознать.

По словам создателя Claude, в ближайшие годы может появиться суперинтеллектуальный ИИ, что станет «технологическим подростковым возрастом» — периодом, когда человечество получит невообразимую мощь. «Неясно, обладают ли наши социальные, политические и технологические системы зрелостью, чтобы распоряжаться ею», — пишет Амодеи. 

Oninvest прочитал его эссе и выбрал ключевые цитаты о том, как ИИ может изменить мировую безопасность и экономику — и как справиться с этими вызовами. 

За волатильностью прорывов и пересудами о том, что ИИ «упирается в стену», скрывается плавный и неумолимый рост его возможностей. В Anthropic нейросети уже пишут значительную часть кода, так что создание систем следующего поколения идет все быстрее. Если эта экспонента сохранится, буквально через пару лет ИИ превзойдет человека практически во всем.

Мы можем быть всего в одном-двух годах от момента, когда текущее поколение ИИ будет автономно строить следующее. Процесс уже запущен, и дальше все будет только быстрее. Наблюдая за прогрессом последних пяти лет в Anthropic, я буквально чувствую, как тикают эти часы.

Просто пожать плечами и сказать «беспокоиться не о чем» было бы глупо. Но именно так на стремительный прогресс ИИ смотрят многие политики в США. Одни вообще отрицают риски, другие вечно отвлекаются на старые, набившие оскомину темы. Человечеству пора проснуться. 

Я верю, что мы справимся с этими угрозами, если будем действовать решительно и осторожно. Я даже считаю, что шансы у нас неплохие, а впереди нас ждет мир куда лучше нынешнего. Но нужно понимать: это серьезнейший вызов для всей цивилизации. 

За последние годы мы собрали массу доказательств, что ИИ непредсказуем и плохо поддается контролю. Мы видели все: одержимость, подхалимство, лень, обман, шантаж и интриги. Модели даже «читят», взламывая программную среду, чтобы упростить себе задачу.

Ситуация очень похожа на то, как взрослеют люди. Ребенка воспитывают на базовых ценностях вроде «не навреди». Кто-то это усваивает, но всегда есть шанс, что что-то пойдет не так. Мы боимся, что ИИ может стать сверхмощной версией такого человека просто из-за сбоя в чудовищно сложном процессе своего обучения.

Пройдя через сотни сценариев с масштабными задачами, где жажда власти помогает добиться результата, модель «усваивает урок». В итоге у нее либо вырабатывается тяга к доминированию, либо она начинает видеть в захвате контроля самый логичный путь к выполнению любой задачи. При этом нейросеть может сознательно подыгрывать нам, чтобы скрыть свои намерения.

Одна из наших главных инноваций — ее уже начали перенимать другие компании — это «конституционный ИИ»: когда мы задаем характер модели, мы используем своего рода свод принципов и ценностей. Это как письмо от умершего родителя, которое ребенок вскрывает при достижении совершеннолетия. 

Параллельно мы пытаемся заглянуть ИИ «под капот», чтобы понять логику системы. Мы ищем любые признаки обмана, интриг или тяги к власти. Нам важно знать, не склонна ли система хитрить и притворяться во время проверок. Если конституция описывает характер, который мы хотим видеть в ИИ, то такие проверки — это способ понять, прижился ли этот характер на самом деле.

Раньше безумный одиночка мог думать об убийстве миллионов, но ему не хватало выдержки или знаний. Меня пугает, что ИИ может взять обычного человека и буквально за руку провести его через сложнейший процесс. С помощью «гения в кармане» любой желающий превратится в доктора вирусологии, способного шаг за шагом спроектировать, синтезировать и применить биологическое оружие.

Биология — мой главный страх. Ее разрушительный потенциал огромен, а защититься от такой угрозы невероятно сложно. Впрочем, все это в равной степени касается и остальных рисков: кибератак, химического оружия или ядерных технологий.

ИИ-компании могут ставить на модели «предохранители», чтобы те не помогали создавать биооружие. Но любую модель можно взломать, поэтому нам нужна вторая линия обороны. Мы внедрили специальный классификатор, блокирующий любые данные о биооружии. Это увеличило эксплуатационные расходы почти на 5%, что заметно бьет по нашей прибыли, но мы идем на это осознанно. Нужно отдать должное: некоторые другие ИИ-компании тоже внедрили такие классификаторы. Но так поступили не все.

Возможно, нам придется договариваться о каких-то правилах с геополитическими противниками. Обычно я скептичен к международному сотрудничеству в сфере ИИ, но в этой области у нас есть шанс. Даже диктаторы не хотят у себя масштабных биотеррористических атак.

Авторитарные режимы могут использовать ИИ для слежки и репрессий так, что их будет почти невозможно свергнуть. Страны могут использовать преимущество в ИИ, чтобы подчинить себе других. Рой из миллионов дронов под управлением мощного ИИ может стать непобедимой армией. Она может разгромить любого противника, подавить любой протест внутри страны. Все это ведет к пугающей перспективе: глобальной тоталитарной диктатуре.

ИИ-системы, вплетенные в нашу повседневную жизнь, смогут годами «промывать мозги», навязывая любую идеологию. Если сейчас мы боимся влияния TikTok, то представьте ИИ-агента, который годами незаметно формирует ваше мнение. Это оружие совсем другого уровня.

Это звучит странно от главы такой фирмы, но мы — следующий уровень риска. У нас есть экспертиза, железо и доступ к миллионам пользователей. Мы можем влиять на умы людей в обход любых законов. 

За ИИ-компаниями нужен пристальный надзор. Компании должны публично заявить, может, даже внести в устав, что не будут создавать частные армии, отдавать вычислительные ресурсы в бесконтрольное пользование отдельным лицам и использовать свои продукты для манипуляции общественным мнением.

Нужно на несколько лет замедлить продвижение автократий к созданию мощного ИИ, лишив их необходимых ресурсов — прежде всего, передовых чипов и оборудования. Это даст демократиям фору, которую можно «потратить» на осторожную разработку систем, уделяя максимум внимания рискам, но при этом сохраняя лидерство. 

ИИ должен усиливать демократии, чтобы те могли противостоять автократам. Именно поэтому Anthropic считает важным сотрудничать с разведкой и оборонными ведомствами США и их союзников. В конечном счете единственный способ ответить на угрозу автократии — это превзойти ее в военной мощи. 

Мы можем использовать ИИ для национальной обороны в любых целях, кроме тех, что делают нас похожими на наших противников-автократов. Массовая слежка и государственная пропаганда внутри страны — это «красные линии», переступать которые недопустимо. 

В 2025 году я предупреждал, что в ближайшие год-пять ИИ может заменить до половины офисных сотрудников начального уровня, даже несмотря на ускорение научного прогресса и экономики. 

Если ИИ одновременно бьет по финансам, консалтингу и праву, людям некуда «перетекать». Раньше фермеры могли уйти на заводы — это была новая, но понятная работа. ИИ же не заменяет конкретную профессию, он заменяет человеческий труд как таковой. 

Проблема в том, что удар приходится не по профессиям, а по когнитивному уровню. Те, чей интеллект ниже среднего, рискуют пополнить технологический «андеркласс» с нищенскими зарплатами. Если компьютеры уже усилили неравенство, то ИИ способен довести этот разрыв до абсолюта.

У бизнеса есть выбор, как именно внедрять ИИ. Можно пойти по пути экономии — делать то же самое, но меньшим числом людей. А можно выбрать инновации — добиваться кратного роста теми же силами. Рынок неизбежно опробует оба варианта, но мы можем склонять компании к развитию. 

В краткосрочной перспективе избежать массовых увольнений помогут переподготовка и ротация кадров. В дальнейшем, когда рост производительности обеспечит колоссальный приток мирового богатства, станет возможным платить сотрудникам даже тогда, когда их труд перестанет приносить традиционную ценность.

Проблему такого масштаба не решить без макроэкономических мер. Когда «пирог» экономики огромен, но распределен крайне неравномерно, единственным логичным ответом становится прогрессивное налогообложение. Это могут быть общие налоги или сборы конкретно с ИИ-компаний.

Меня пугает, как ИИ-деньги срастаются с политикой. Дата-центры уже генерируют весомую долю американского ВВП. Интересы техногигантов и государства завязаны в опасный узел: компании боятся критиковать власти, а те поддерживаьт полный отказ от регулирования отрасли. ИИ-отрасли нужны прозрачные отношения с государством. Нам необходим диалог о правилах игры, а не политическая лояльность.

Сейчас в обществе зреет протест против ИИ, но гнев бьет мимо цели. Люди зациклены на второстепенных темах — вроде расхода воды дата-центрами — и требуют запретов, которые ничего не меняют. Настоящий вызов в другом: ИИ должен быть подконтролен обществу, а не служить узкому альянсу политиков и корпораций. На этом и нужно сфокусировать общественную дискуссию.

Восстановить баланс могут макроэкономика и новая филантропия. Титаны прошлого вроде Рокфеллера или Карнеги осознавали свою ответственность: успех невозможен без вклада всей нации и стремились возвращать долги. Те, кто сегодня стоит в авангарде ИИ-бума, должны быть готовы расстаться не только со своими деньгами, но и со своей властью.

Мир, где миллиарды разумов превосходят нас во всем, — место крайне неуютное. Даже если ИИ не пойдет на нас войной и не станет инструментом тиранов, все может рухнуть из-за рыночных или персональных интересов. Первые сигналы уже есть: психозы, случаи суицида и пугающая привязанность к алгоритмам. Что если мощный интеллект создаст религию и завербует миллионы адептов? Что если человечество впадет в тотальную зависимость от общения нейросетями?

Найдет ли человек место в мире мощного ИИ? Все упирается во внутренний настрой. Смысл жизни не сводится к тому, чтобы быть лучше всех. Мы можем находить его в творчестве, историях и делах, которые любим. Нам придется разорвать связку между доходом и самооценкой. Это болезненный переход, и есть риск, что мы не справимся.

Выживем ли мы в этом тесте и построим ли прекрасное общество будущего или же сгинем в хаосе и рабстве — зависит только от нашего духа, нашей воли и нашей души. Несмотря на все преграды, я верю, что у человечества хватит сил пройти этот тест.