Anthropic: ИИ-модели за считанные месяцы научатся размножаться в домашней технике

Небольшим ИИ-моделям, возможно, осталось несколько месяцев до того, как они научатся размножаться, перебираясь с одного дешевого подключенного устройства на другое, от умных духовок до ноунейм-приставок к телевизорам, предупредил ИИ-разработчик Anthropic. Если они будут развиваться так же быстро, как до сих пор, нужного для этого уровня они достигнут к концу года, причем дата-центры им не понадобятся: в эксперименте Anthropic удалось запустить «на удивление мощную» модель на 15 приставках по $55.

Программу, которая сама копирует себя с одного вычислительного устройства на другое вместе с ИИ-моделью и запускает ее прямо на взломанной технике, Anthropic называет ИИ-червем. На ТВ-приставках работала Gemma4-26B-A4B от Google. Anthropic относит ее к небольшим, то есть к моделям не крупнее 30 млрд параметров: у Gemma их 26 млрд. В GPT-3, которую OpenAI представила еще в 2020 году, было 175 млрд.

Пройти цепочку целиком — найти в сети незараженное устройство, скопироваться на него, запуститься и двинуться дальше — в лабораторных тестах Anthropic смог только червь на основе GLM-5.2, которая слишком велика для зараженных машин, поэтому работала на отдельном сервере. К тому же доступ к ним в тесте не требовал никакой проверки, так что в реальной сети, по оценке Anthropic, результат был бы не лучше. «Полноценного репликатора, который вышел бы из-под контроля, пока нет, но агенты все лучше справляются с отдельными шагами цепочки самовоспроизведения (и передают свои наработки новым копиям)», — констатировали в  Anthropic.

Корзина акций компаний кибербезопасности, которую отслеживает Goldman Sachs, с апрельского минимума подорожала к двадцатым числам сентября более чем вдвое: инвесторы рассчитывают, что угрозы со стороны передовых ИИ-моделей обернутся выгодой для отрасли, указывал тогда Bloomberg. Бумаги поставщиков средств киберзащиты CrowdStrike, Palo Alto Networks и Fortinet за этот период выросли более чем на 130%.

По оценке Брайана Эссекса из JPMorgan, ИИ может привести к дополнительным расходам на кибербезопасность более чем на $430 млрд в течение трех лет, а спрос на защиту сохранится независимо от попыток «притормозить» разработку нейросетей. При этом обнаружить ИИ-червя вполне реально, подчеркивают в Anthropic: если он начнет распространяться по умным устройствам, системы мониторинга интернет-провайдеров заметят аномальный трафик. «Мы должны стремиться к укреплению наших систем, чтобы затруднить распространение подобных репликаторов, но также готовиться к миру, в котором они останутся навсегда», — заключил ИИ-гигант.

Ботнеты на дешевых ТВ-приставках существуют и сейчас, пусть и без ИИ, и от них уже пострадали инвесторы. В июне исследователи нескольких компаний связали один из них, Popa, — сеть из зараженных устройств, которую использовали для рекламного мошенничества и захвата аккаунтов, — с NetNut, которой управляет израильская Alarum Technologies, писал портал Krebs on Security. 2 июля Reuters сообщил, что Google отключил аккаунты и сервисы NetNut, и в тот же день акции Alarum на Nasdaq рухнули. Сама Alarum с выводами исследователей не согласна: компания называет их «неточными и ошибочными», а NetNut — «легальной коммерческой прокси-сетью».

Когда в сентябре глава Anthropic Дарио Амодеи призвал отрасль замедлить разработку передовых моделей, предупредив, что через 6–12 месяцев рой агентов «может оказаться способен захватить весь интернет», инвестор из «Игры на понижение» Майкл Бьюрри счел подобные заявления выгодными самим ИИ-компаниям: «Для IPO нужны шумиха и самореклама». В проспекте IPO компании, с которым ознакомился Reuters, факторам риска отведено 80 из 261 страницы. По данным Bloomberg, Anthropic собирается выйти на биржу  в середине ноября.

В прошлое воскресенье, 11 октября, хакеры вывели из строя холодильное оборудование в сотнях французских супермаркетов. Злоумышленники получили доступ к системам охлаждения и включили режим разморозки, из-за чего температура в холодильниках и морозильных камерах примерно на шесть часов поднялась до 50 градусов. Магазинам пришлось выбросить испорченные мясо, овощи и замороженные продукты.

Кто стоит за взломом, пока не понятно. Bloomberg отмечает, что хакеры все чаще стремятся не просто украсть данные или вымогать деньги, а вмешаться в работу систем, управляющих оборудованием и техпроцессами. Ранее подобным атакам подвергались системы водоснабжения в США, а также нефтяные и газовые танкеры, напоминает агентство.