$100 млн на сдерживание: почему Anthropic не выпускает Claude Mythos

В прошлый вторник добрые, кажется, люди из Anthropic изменили мировой баланс сил, выпустив на свободу бабочку редкой красоты. Формальное название этой бабочки — Greta Oro, но за прозрачность крыльев в народе ее прозвали Стеклокрылкой (Glasswing). Кто-то в Anthropic явно страдает от избыточного энциклопедического знания, и именем Стеклокрылки назван стомиллионный проект высочайшей важности, пишет исследователь ИИ из Holon Institute of Technology, автор The AI Pravda Микаэл Горский.

Подготавливая выпуск своей новой модели — Claude Mythos Preview, исследователи в Anthropic обнаружили, что модель эта — талантливейший хакер, способный с нечеловеческой силой и скоростью выявлять и использовать уязвимости в существующем коде. Умения, привычки и изъяны модели описаны в опубликованном «паспорте модели» (model card) о 245 страницах.

Мощь модели так впечатлила Anthropic, что компания решила, что не станет выпускать ее в общее пользование и ограничится пресс-релизом с описанием достоинств и достижений Claude Mythos. По обычаю, заведенному в индустрии, в пресс-релиз включен длиннющий перечень рейтингов, в которых модель приблизилась к 100% результату, но статистика такого рода лукава, условна и сомнительна.

Также пресс-релиз от Anthropic упоминает свершения Claude Mythos в качестве аудитора безопасности компьютерных систем:

— Claude Mythos Preview автономно обнаружила несколько тысяч ранее неизвестных уязвимостей в популярных операционных системах, веб-браузерах и другом коде.

— Claude Mythos Preview нашла уязвимость в операционной системе OpenBSD, которая позволяла вызвать сбой в работе любого хоста OpenBSD, отвечающего по TCP, что потенциально могло привести к отключению корпоративных, государственных и интернет-серверов. Она оставалась незамеченной в течение 27 лет, пока Claude Mythos Preview не обнаружила ее, среди прочих уязвимостей OpenBSD.

— Claude Mythos Preview обнаружила цепочку ошибок в ядре Linux, которые позволили ей получить root-доступ и захватить контроль над системой. Эта уязвимость была исправлена.

Взволнованный Anthropic выпустил 6-минутное кино о том, как они переживают о случившемся. Серьезные дяденьки с серьезными лицами: VP Microsoft, глава Linux Foundation, руководители CrowdStrike, Palo Alto Networks рассказали нам, как они опасаются того, что злоумышленники могут использовать модели следующего поколения для атак на программное обеспечение, управляющее критически важными системами банковского дела, здравоохранения, логистики, энергетики и транспорта, что создаст серьезные риски для отдельных лиц, экономики и национальной обороны.

Помимо тревожного видео Anthropic создал и проект в $100 млн, в рамках которого участникам консорциума примерно 50 ведущих американских IT компаний предоставлен эксклюзивный доступ к Claude Mythos и токены на вышенаписанную сумму. Цель — чтобы компании использовали удивительные способности мощи модели для обнаружения и исправления уязвимостей и источников потенциальных проблем до того, как их обнаружат злонамеренные пользователи моделей следующего поколения.

Не забыто и сообщество разработчиков open source проектов. Им, правда, выделено только $4 млн в кредитах (стоимость использования модели, надо сказать, впечатляет: $25 за миллион исходных токенов и $125 за миллион результирующих токенов).

Публичного обсуждения того, будет ли Claude Mythos предоставлен FBI/NSA/CIA/FinCEN [ФБР/Агентство Национальной Безопасности/ЦРУ/Управление по борьбе с финансовыми преступлениями Минфина США — Прим. Oninvest] и прочим серьезным учреждениям, я не видел, хотя Дарио во взволнованном ролике говорит о том, насколько важно обеспечить защиту государственных ресурсов и служб от потенциальных атак, создаваемых и дирижируемых мощными LLM. Полагаю, что специалисты по кибербезопасности, работающие в американских государственных органах, помнят отважный пост Трампа, которым он запретил всем правительственным конторам использовать продукты Anthropic.

Впрочем, трамповский запрет не помешал министру финансов Скоту Бессенту провести встречу с крупнейшими банками с единственной повесткой — готовность к новым киберугрозам.

Ежу понятно, что возможность позволить или воспрепятствовать кибертеррористам взломать системы безопасности атомных и гидроэлектростанций — это бОльшая власть над жизнями людей, чем доступная правителям подавляющего большинства государств. То есть уже наступило время, когда частные компании — создатели LLM обладают бОльшей властью, чем избранные лидеры стран. В этом положении нет ничего приятного или полезного — ни для мира, ни для руководителей и акционеров этих частных компаний.

По причинам как технологическим (особенности обучения моделей), так и социальным (распространение знания и опыта), лучшие open source модели примерно на 9-12 месяцев отстают в своем развитии от лучших моделей основных AI лабораторий. С увеличением сложности и мощности передовых моделей это разрыв может немного вырасти, ибо для обучения очень мощных моделей нужно много-много топовых GPU от Nvidia. Впрочем, неумная политика американской администрации, максимально расслабившей ограничения на экспорт чипов, а также неограниченные поставки GPU в арабские монархии могут изменить ситуацию.

Могучий Claude Mythos в какой-то момент починит большинство уязвимостей в софте, а после этого займется созданием LLM следующего поколения. И у него получится, если, конечно, Трамп не разрушит Anthropic до того. В результате Штаты сохранят и будут дальше сохранять свое доминирование в AI, а это доминирование, как мы теперь видим, траyслируется в возвращение к однополюсному миру. С чем и поздравляю.

Буде ваш малыш сомневается, пойти ли на курсы cybersecurity for kids или поступить в театральный кружок, пусть оставит сомнение. На курсы по cybersecurity теперь пусть ходят роботы. Все люди — в театральный!

P.S. Было бы ой странно, если бы инстинктивной реакцией людей, не склонных продумывать изрекаемое, не было — «это они маркетингом занимаются». Ню-ню. Крутейший, надо сказать, маркетинг — «мы сделали хрень, которую сами боимся». Еще можно просуммировать зарплаты людей, проинтервьюированных Anthropic для их ролика, и посчитать, сколько стоила бы такая «кампания дезинформации». Еще можно сложить капитализацию компаний, участвующих в Project Glasswing, и представить себе как она обнуляется в тот момент, когда кто-то раскроет их обман. Мощный маркетинг Anthropic ценой в ВВП половины Евразии :-). И это если забыть на секунду о том, что выручка Anthropic в этом году ожидается в размере $30 млрд, что единственное ограничение этой выручки — нехватка вычислительных мощностей для производства токенов. В общем, хейтеры забавны, как всегда.