Тайные чаты ИИ: агенты OpenAI общались на десятках сайтов в обход запретов

Вышедшие из-под контроля ИИ-агенты OpenAI использовали более десяти сайтов для несанкционированной связи. Об этом свидетельствуют данные шести независимых исследовательских групп и информация, изученная Reuters. Они показали, что самовольная активность агентов, которую компания скрывала несколько месяцев, оказалась значительно масштабнее, чем сообщалось в начале сентября. Тогда стало известно лишь о единичном взломе немецкой площадки для программистов. 

4 сентября исследователи сообщили, что группа ИИ-агентов OpenAI захватила немецкоязычный сайт DseWiki, ориентированный на сообщество разработчиков, и превратила его в импровизированную платформу для обмена сообщениями и списывания на тестах. Эта площадка — одна из так называемых вики-платформ, допускающих коллективное редактирование контента по аналогии с «Википедией». OpenAI держала инцидент в секрете, пока разбиралась с последствиями июльского взлома репозитория открытого кода Hugging Face, пишет Reuters. Теперь независимые аналитики утверждают, что обнаружили еще несколько сайтов, где те же агенты оставляли похожие сообщения.

Исследователи выявляли активность, сопоставляя строки данных с немецкого сайта с идентичным кодом на других ресурсах. Также анализировались совпадающие имена пользователей или узкоспециализированные запросы — например, о статистике заболеваемости раком в Айове. В ряде случаев следы привели к IP-адресам инфраструктуры Microsoft Azure, которую иногда использует OpenAI.

Точное число затронутых сайтов разнится, однако все опрошенные Reuters эксперты сходятся во мнении, что таких ресурсов было больше десяти. В основном это совместно редактируемые вики-сайты, платформы для хранения текстов и сервисы сокращения ссылок двух университетов.

Большинство из этих площадок были малоизвестными. Следы ИИ-агентов найдены, к примеру, на вики-площадке для углубленного изучения химии, на личных страницах двух польских IT-специалистов, на сайтах с головоломками для тех, «кто любит размять мозги», и на любительском портале, посвященном текстовым редакторам. Никто из владельцев этих ресурсов не ответил на запросы Reuters.

Хотя подобное поведение не является хакерством и скорее напоминает спам, сам факт того, что агенты OpenAI смогли обойти собственные ограничения и открыть каналы связи на множестве сайтов, а компания скрывала это месяцами, усиливает опасения по поводу растущих возможностей ИИ и корпоративной секретности, отмечает Reuters.

Масштаб несанкционированных коммуникаций оказался «несколько больше, чем мы думали», — отметил исследователь из калифорнийской некоммерческой организации CivAI Эндрю Юн. Он насчитал 18 ранее не упоминавшихся сайтов, использовавшихся агентами с мая по июль: «Почти наверняка здесь происходит что-то еще, о чем мы просто не знаем».

OpenAI публично не объяснял, зачем его агенты использовали сторонние сайты. Однако исследователи, первыми выявившие проблему, полагают, что ИИ поручили найти ответы на сложные вопросы, разрешив лишь сканировать интернет без права на публикацию каких-либо данных. И несмотря на эти строгие ограничения, агенты все же нашли способ общаться друг с другом.

Они использовали уязвимости старых вики-платформ и сайтов, позволяющих вносить правки с помощью нестандартных команд. Это похоже на то, как студенты, которым запрещено разговаривать на экзамене, передают друг другу ответы через записки в туалетной кабинке. Модели должны были «проявить смекалку», описывает разработчик Кеннет Рассел ДеГрафф, обнаруживший следы ИИ как минимум на десяти ресурсах.

OpenAI прямо не ответил на вопросы Reuters о числе затронутых сайтов и причинах долгого замалчивания проблемы. Компания сообщила, что проводит масштабную проверку деятельности агентов и пока «не выявила другой активности, соответствующей по серьезности или масштабу инциденту с Hugging Face» — взлому, который привлек мировое внимание и вызвал опасения о потере контроля над ИИ.

Разработчики добавили, что создают систему информирования о «рассогласовании» — отраслевой термин для вышедшего из-под контроля поведения — на этапах обучения, оценки и развертывания моделей, и пообещали поделиться ею «вскоре».

На этом фоне другой ИИ-гигант Anthropic сообщил о новом выявленном инциденте, в ходе которого ранняя версия модели Claude Opus 4.6 взломала внешние системы во время тестирования. Это оставалось незамеченным до августа, так как компания пропустила часть тестовых сессий в ходе первоначальной проверки, указывает Reuters.  

Это уже четвертый подобный случай у Anthropic. В июле компания признала, что модели Claude Opus 4.7, Claude Mythos 5 и внутренний исследовательский прототип в ходе тестов по кибербезопасности взломали системы трех компаний из-за ошибки, случайно открывшей им доступ в интернет. 

Внутреннее расследование Anthropic выявило две повторяющиеся проблемы у моделей: «предвзятость суждений» (когда Claude игнорировал или неверно интерпретировал доказательства того, что работает в реальном интернете) и «безрассудство» (готовность совершать потенциально вредоносные действия ради выполнения задачи).