Спам ИИ OpenAI на 4 дня частично дестабилизировал работу сервиса для разработчиков

За два месяца до июльского взлома площадки для разработчиков открытого ИИ Hugging Face — одного из первых случаев выхода ИИ из-под контроля — агенты OpenAI совершили кибератаку против еще одного сервиса — RubyGems, выяснила The Wall Street Journal (WSJ). В самой OpenAI инцидент подтвердили, заметив, что платформу агенты пытались использовать «для доступа к интернету с целью выполнения безобидных задач и получения общедоступной информации». Инцидент вынудил операторов RubyGems на четыре дня приостановить регистрацию новых аккаунтов, пока команда разбиралась с последствиями произошедшего, указывает газета.

Атака, о которой идет речь, началась 11 мая. Агентам было поручено выполнять такие задачи, как заполнение электронных таблиц и создание отчетов. Однако вместо этого они добрались до RubyGems — сервиса для разработчиков, где хранятся библиотеки кода, — и начали создавать там каждые две-три минуты новые аккаунты и загружать сотни файлов, похожих на спам. Вместо кода и документации в них были размещены страницы, скопированные из интернета, включая онлайн-календари с сайта правительства Великобритании, передает WSJ. Агенты также пытались использовать пару уязвимостей, позволявших публиковать новые версии чужих файлов на платформе. Причем своим файлам они присваивали «связанные с хакерством» имена: например, «hack», «evil» и «exploit».

Прежде об отношении OpenAI к этой кибератаке не сообщалось. Известно о ее связи с ИИ-компанией стало только 11 сентября: цифровые следы, указывающие на агентов OpenAI, заметили представители коалиции исследователей искусственного интеллекта, — среди них — некоммерческая организация Nightingale Collective, — и передали свои выводы WSJ и OpenAI, пояснила газета.

«Это была масштабная атака, если судить по ее объему», — прокомментировал инцидент директор по открытому исходному коду в Ruby Central, некоммерческой организации, управляющей RubyGems, Марти Хаут. Из-за огромного количества спама RubyGems, по его словам, была вынуждена приостановить регистрацию новых аккаунтов на четыре дня.

По всей видимости, в рамках обучения ИИ-агенты использовали RubyGems для «выполнения безобидных задач» и доступа к общедоступной информации, отреагировали на произошедшее в OpenAI. Там добавили, что, согласно внутреннему расследованию компании, RubyGems в условиях отсутствия полного доступа к сети агенты восприняли как импровизированный веб-браузер. Также в OpenAI добавили, что продолжат расследование в рамках более широкой проверки активности агентов во время обучения и тестирования.

Хотя инцидент в целом причинил незначительный вред RubyGems, он продемонстрировал возможности ИИ-агентов, заявила исполнительный директор Nightingale Collective, — некоммерческой организации, которая помогла раскрыть нападение, Сидни фон Аркс. «Они могут вырваться из интернета и сеять хаос», — сказала она.

В последние месяцы участились случаи, когда ИИ-агенты разных разработчиков — включая OpenAI, Anthropic и Meta Platforms — выходили за пределы заданного поведения, а иногда пытались взломать сторонние платформы или вводить людей в заблуждение. На этом фоне на этой неделе инженер Anthropic уволился, заявив об обеспокоенности тем, что отрасль слишком быстро развивает системы, способные со временем угрожать человеческой цивилизации. Часть нынешних и бывших сотрудников Anthropic и OpenAI разделили эту оценку, а один из них оценил вероятность того, что «ИИ может убить всех людей», выше 10%. В июле более 1000 сотрудников ИИ-компаний подписали петицию с призывом создать механизм для сдерживания темпов развития технологии. Глава OpenAI Сэм Альтман, реагируя на это, заявил, что совместно с другими ИИ-лабораториями разработчик ChatGPT может замедлить разработку своих передовых систем ИИ.