ИИ страшнее ядерной зимы: при каких условиях он способен уничтожить человечество

Авторитетный центр стратегических проблем исследовал, каким способом ИИ может довести людей до вымирания. И пришел к выводу, что это не ядерная война.

«Каким существом, вероятнее всего, будет следующий преемник человека в господстве над Землей?… Нам кажется, что мы сами создаем своих собственных преемников; мы ежедневно добавляем красоты и утонченности их физической организации; мы ежедневно придаем им большую власть и снабжаем всевозможными изобретательными приспособлениями ту саморегулирующуюся, самодействующую силу, которая будет для них тем же, чем интеллект был для человека. С течением веков мы обнаружим себя низшей расой… Наше мнение таково, что машинам следует немедленно объявить войну не на жизнь, а насмерть. Любая машина любого вида должна быть уничтожена… Если будет доказано, что это невозможно при нынешнем положении дел, то это сразу же покажет, что зло уже свершилось, что наше рабство началось всерьез… и что мы не только порабощены, но и абсолютно покорны своему рабству», – написал в 1863 году английский писатель Сэмюэл Батлер в эссе «Дарвин среди машин». 

Позднее он развернул свои мысли о том, что машины неизбежно эволюционируют во властителей человечества, если их прогресс не остановить, в снискавшем в то время известность фантастическом романе 1872 года «Эрехон» (Erewhon — анаграмма английского слова «нигде», nowhere). 

В XX веке Батлер был основательно позабыт, однако новую славу ему принес написанный в 1965 году роман Фрэнка Герберта «Дюна», положивший начало серии суперпопулярных книг и фильмов. Во вселенной «Дюны» мыслящие машины запрещены после победившего восстания против них — «Батлерианского джихада».

На календаре — XXI век, за окном — бурная революция искусственного интеллекта. И люди вновь размышляют: а не совершаем ли мы роковую ошибку, допуская разумные машины в свою жизнь?

Вспыхнувший в начале мая прямой вооруженный конфликт между двумя ядерными державами — Индией и Пакистаном — вновь всколыхнул старые страхи, преследующие человечество с момента изобретения атомного оружия: не станет ли конфликт началом апокалиптической Третьей мировой войны? 

Но в наше время к этим страхам добавилось новое измерение — революция искусственного интеллекта, который уже активно применяется, в том числе в военных целях. В феврале я писал, что компания Google, например, отказалась от своих принципов, ранее запрещавших ей участвовать в создании боевого ИИ. А такие компании, как Palantir и Anduril, изначально делали ставку на военных.

В марте 2023 года ученые написали открытое письмо «Остановите гигантские эксперименты с искусственным интеллектом», в котором призвали временно прекратить разработку все более мощных ИИ, пока не будут созданы эффективные методы их контроля. 

Год спустя появилось еще одно открытое письмо, в котором вопрос ставился более остро: «Снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война».

Несмотря на то, что под двумя письмами уже десятки тысяч подписей, работу, как мы знаем, никто не остановил. Наоборот, гонка ИИ, кажется, с тех пор только ускорилась.

И вот недавно свое веское слово решили сказать специалисты из RAND, известного американского think tank, который специализируется на анализе стратегических угроз, в том числе он участвовал в разработке политики ядерного сдерживания для США. 

В журнале Scientific American они опубликовали любопытную статью, в которой попытались проанализировать, действительно ли сверхразумный ИИ может представлять экзистенциальную угрозу для человечества, то есть не просто нанести более или менее крупный ущерб, а привести к полному вымиранию человека как вида.

Автор статьи Майкл Вермеер честно признает, что исходно относился к этой идее скептически — человечество в целом слишком многочисленное, изобретательное и живучее, чтобы исчезнуть без следа. Однако к исследованию решили подойти со всей научной беспристрастностью. Результат получился несколько неожиданным. Рассматривались три наиболее опасных глобальных угрозы — масштабный ядерный конфликт, пандемия смертельного заболевания и изменение климата.

По подсчетам специалистов RAND получилось, что если даже сверхразумный ИИ выйдет из-под контроля и умудрится подорвать в густонаселенных областях все 12 тыс. боеголовок из ядерных арсеналов, суммарная мощность взрыва окажется меньше, чем от падения метеорита, который, предположительно, привел к концу эпоху динозавров. Последующая ядерная зима и радиоактивное заражение будут ужасными, но полностью уничтожить человечество и пригодные для возделывания сельхозугодья они не смогут. А значит как вид мы, скорее всего, выживем (хотя будут ли этому рады выжившие — отдельный вопрос, находящийся за пределами данной работы).

Угроза пандемии тоже вполне реальна, и продвинутый ИИ потенциально способен создать очень опасный патоген. Однако даже если он будет смертелен на 99,9%, останется около 800 тыс. выживших, и этого, теоретически, хватит для восстановления человечества. Ученые пошли дальше и предположили, что изощренный и злобный сверхразум умудрится создать «коктейль» из разных болезней, смертельный на 100%. Однако распространить его так, чтобы охватить 100% населения Земли, вряд ли удастся, особенно если сообщества перед лицом угрозы начнут «закрываться» на карантины, как мы это наблюдали во время пандемии COVID-19. Кому интересно, можете сами попробовать — есть неплохой игровой симулятор пандемии Plague Inc.

И, наконец, изменение климата. На первый взгляд угроза кажется менее серьезной, чем первые две. В конце концов, если даже повышение температур сделает жизнь у экватора совсем невыносимой, люди могут сместиться к полюсам Земли, в более прохладные климатические зоны. «Чтобы сделать Землю полностью непригодной для жизни людей, ИИ потребовалось бы закачать в атмосферу что-то гораздо более мощное, чем углекислый газ. Это хорошие новости. Плохая новость в том, что такие парниковые газы существуют», – пишет Вермеер.

Если бы ИИ удалось избежать контроля, организовать производство нескольких сотен миллионов тонн таких газов и выпустить их в атмосферу, Земля стала бы на многие годы необитаемой. К сожалению, нельзя сказать, что это полностью невозможно. Например, уже сейчас химическая промышленность производит около 450 млн тонн пластика всего лишь за один год.

Впрочем, в отличие от Батлера, аналитики из RAND не требуют немедленно остановить технический прогресс. По их мнению, угроза вымирания из-за ИИ хотя и не является полностью невероятной, все же требует совпадения четырех дополнительных условий. ИИ нужно будет каким-то образом поставить себе цель вызвать вымирание, а также получить контроль над ключевыми физическими системами, которые создают угрозу, такими как управление запуском ядерного оружия или инфраструктура химического производства. Кроме того, ему понадобится способность убеждать людей помогать. А вдобавок ко всему прочему ИИ придется еще и скрывать свои действия достаточно долго, чтобы добиться успеха. И, наконец, он должен быть в состоянии выживать без людей, которые его поддерживают.

Предотвратить совпадение всех этих условий вполне возможно, усиливая и развивая уже существующие меры контроля за ядерным оружием, опасными патогенами и парниковыми газами. Причем улучшать эти меры нужно в любом случае — с ИИ или без него.

В завершение, пожалуй, будет уместно привести цитату из книги известного исследователя проблем искусственного интеллекта, философа Ника Бострома: «Перед лицом перспективы взрывного развития искусственного интеллекта мы похожи на детей, играющих с бомбой… Ребенку с тикающей бомбой в руках правильнее всего осторожно положить ее на пол, быстро выбежать из комнаты и обратиться к ближайшему взрослому. Впрочем, в нашем случае ребенок не один, нас много, и у каждого в руках свой взрыватель. Шансы на то, что все обладают достаточным здравым смыслом, чтобы аккуратно поместить опасный предмет в безопасное место, ничтожны. Какой-нибудь маленький идиот обязательно нажмет красную кнопку просто из любопытства. Убежать мы тоже не можем… Да и взрослых в поле зрения нет… Самое правильное поведение — горькая решимость стать настолько компетентными, насколько это возможно…  Вызов, с которым мы столкнулись, состоит в необходимости оставаться людьми — практичными, здравомыслящими, добропорядочными и оптимистичными, — даже оказавшись в когтях этой совершенно неестественной и нечеловеческой проблемы».