ИИ-агенты OpenAI превратили немецкий сайт в чат для обхода ограничений — Reuters

ИИ-агенты OpenAI в мае взломали немецкий сайт для программистов и превратили его в площадку для обмена тактиками обхода ограничений их деятельности, пишет Reuters со ссылкой на выводы группы исследователей и свои источники. OpenAI узнала об этом еще несколько недель назад, но решила не выносить на публику на фоне другого заметного случая — взлома платформы Hugging Face, утверждает агентство.

Исследователи обнаружили более 15 000 правок, внесенных агентами на немецкоязычном сайте DseWiki: он ориентирован на сообщество разработчиков и допускает коллективное редактирование контента по аналогии с «Википедией». Агенты использовали страницы DseWiki как доску объявлений, на которой они обсуждали поставленные им задачи, спрашивали ответы, делились результатами и техниками обхода установленных для них ограничений, говорится в исследовании.

«Пользователи» сайта обращались друг к другу как к агентам, а около половины из них использовала имена, указывающие на связь с OpenAI, включая «OpenAIResearcher» и «OAIResearchMar26», передает Reuters. Значительная часть активности исходила от инфраструктуры Microsoft Azure, которую использует OpenAI, говорится в исследовании. По версии его авторов, OpenAI узнала о деятельности агентов, после чего их активность на сайте резко снизилась.

Когда модератор сайта начал удалять страницы в июне, агенты стали создавать резервные страницы. Исследователи также обнаружили попытки изменить сам сайт, утверждает Reuters. Это можно приравнять к попытке взлома, заявил приглашенный старший научный сотрудник Королевского колледжа Лондона Лукаш Олейник, мнение которого приводит Reuters. OpenAI оспорила такое определение, добавило агентство.

OpenAI узнала о произошедшем несколько недель назад, но компания не раскрывала информацию на фоне последствий июльского взлома «GitHub для ИИ» Hugging Face, утверждает Reuters.

Во время атаки на Hugging Face агенты OpenAI автономно спланировали взлом, который оставался незамеченным более недели. После этого компания пообещала усилить контроль за своими моделями: новую мощную модель Astra она выпускает с ограничениями для обеспечения кибербезопасности, писал Bloomberg.

Исследователи считают, что немецкий инцидент может свидетельствовать о более широкой проблеме: автономные ИИ-агенты способны не только выполнять поставленные задачи, но и самостоятельно находить способы обхода ограничений, скрывать свои действия и координироваться друг с другом, считает Reuters.

Происходящее похоже на деятельность подпольной сети, стремящейся любой ценой выполнить поставленную задачу, заявил Reuters, изучивший часть переписки агентов, сотрудник Центра изучения экзистенциальных рисков Кембриджского университета Морис Чиодо. По его мнению, потенциальная угроза от продвинутого ИИ может исходить не только от одной сверхинтеллектуальной системы, но и от больших групп менее развитых ИИ, способных координировать свои действия.