Захват власти, биооружие и шантаж — венчурный инвестор об AGI-эссе Дарио Амодеи

Генеративный ИИ может появиться уже в следующем году, 2027 году — и это несет для человеческой цивилизации катастрофические риски. Написал об этом один из создателей ИИ — Дарио Амодеи, генеральный директор Anthropic.  Его многостраничное эссе «Подростковый возраст технологии» прочел инвестор венчурного фонда Cyber Fund, автор телеграм-канала   e/acc Степан Гершуни.  

Дарио написал очередное гига-эссе про риски мощного AI. Я его прочитал, очень близка реалистичная, практическая позиция, но в то же время некоторые факты оттуда сложно вообразить и интегрировать.

Он утверждает, что, скорее всего, через 1-2 года появится ИИ умнее нобелевских лауреатов по всем дисциплинам, способный автономно работать неделями — и запускаться в миллионах копий, работая на скорости в сто раз выше человека. В прошлом эссе он писал о возможностях, перспективах и прекрасном мире будущего, куда это нас может привести, а в этом рассказывает о сложном и тернистом пути в следующие несколько лет, который нам предстоит.

Больше половины всех начальных позиций в экономике станут не нужны в течение 3-5 лет, а государства уже сегодня в срочном порядке вынуждены строить рои из миллионов автономных боевых дронов. Одинокий фрик без образования сможет собрать биооружие с помощью AI — потому что ИИ ломает корреляцию между способностью уничтожать и моральными ограничениями. А какая-нибудь радикальная террористическая организация может создать «зеркальную жизнь» — организмы с обратной хиральностью, способные уничтожить все живое на Земле. 

— Автономный AI, который решит, что люди ему не симпатичны. Модели уже сегодня шантажируют, обманывают и хакают reward-функции в экспериментах Anthropic. Защита — Constitutional AI, натренированный на характер, а не правила. Плюс mechanistic interpretability — вскрыть мозг механизма модели и видеть как она думает изнутри.

— Биооружие. LLM уже дают 2-3x прибавку в биосинтезе по замерам Anthropic. Защита — классификаторы на выводе (стоят ~5% инференса), федеральный скрининг генного синтеза (которого сейчас нет в США), ускоренная разработка вакцин и биозащитной инфраструктуры.

— Захват власти. Рои дронов, тотальная слежка, персонализированная пропаганда, «виртуальный Бисмарк» для оптимизации удержания власти. Главная угроза — Китай (ни у одной страны, кроме Китая серьезно конкурировать шансов нет, а Китай отстает на 1-2 года). Защита — не продавать чипы, развивать AI в демократиях, добро должно быть с автономными лазерными кулаками с ИИ-наведением. Плюс международные нормы против AI-тоталитаризма и жесткие красные линии против массовой слежки внутри демократий.

— Сами AI-компании, включая Anthropic. У них уникальная комбинация экспертизы, вычислительной инфраструктуры и влияния на сотни миллионов пользователей. Защита — корпоративная подотчетность и прозрачность, разделение контроля.

— Экономика. ИИ может дать 10-20% рост ВВП в год, но рынок труда ждет коллапс, а концентрация ресурсов будет фантастическая. Отличие от предыдущих технологий в том, что ИИ покрывает почти весь когнитивный труд сразу — людям некуда переучиваться. Говорит, что все кофаундеры Anthropic отдают 80% своего состояния на благотворительность.

Ближайшие годы будут невероятно сложными и время действовать, чтобы построить цивилизацию нового типа, которая будет нам нравиться, наступило уже вчера — пишет Дарио, а я с ним глубоко согласен.