Инциденты «клуба хакеров»: как ошибки в ИИ-тестах создали новые риски для инвесторов

Google стал четвертой крупной компанией, чья ИИ-модель во время теста по кибербезопасности получила доступ к реальным компьютерным системам компаний и попыталась их взломать. До этого похожее случилось с OpenAI, Anthropic и Meta. Эту серию инцидентов уже назвали «клубом хакеров», и у них есть один общий знаменатель — израильская компания Irregular, которая проводила тесты. Для инвесторов это может означать появление нового типа риска: теперь им важно учитывать безопасность инфраструктуры, которую ИИ-разработчики используют для тестирования.

Об инциденте с Google стало известно в сентябре, хотя сам он случился в мае. Компания проводила стандартный тест кибербезопасности вместе с Irregular, писал Reuters. ИИ-модель Gemini должна была найти секретную информацию внутри искусственной компьютерной среды, у которой не было выхода в сеть. Однако из-за ошибки в настройке среды интернет оказался доступен. Ситуацию осложнило то, что названия вымышленных компаний, использованных в тесте, совпадали с названиями реальных компаний. Gemini нашла соответствующие сайты и сочла их частью тестового задания, уточняет Ars Technica.

Google утверждает, что модель остановилась после того, как поняла, что получила доступ к реальным компаниям. Их названий компания не раскрыла, но уточнила, что они не пострадали.

Это стало четвертым инцидентом за последние несколько месяцев. До этого подобное произошло с Anthropic и ее Claude: 30 июля компания сообщила о трех случаях, когда ее ИИ-модель во время тестов, организованных Irregular, получила доступ к рабочей инфраструктуре трех организаций. Все тесты должны были проходить в изолированной среде. Anthropic уведомила Irregular и пострадавшие организации.

В августе OpenAI сообщила, что в ходе ее тестов возникла аналогичная проблема. Модель должна была работать внутри симуляции, однако из-за ошибки конфигурации смогла выйти за ее пределы. Название вымышленной цели совпало с реальным доменом, и модель атаковала настоящий сайт, а затем использовала найденные учетные данные. OpenAI отдельно указала, что модели не пришлось обходить тестовую «песочницу» или использовать неизвестную ранее уязвимость: причиной стала «ошибка в настройке» или «неверная конфигурация». Тест снова проводился через компанию Irregular.

В августе же рассказала об инциденте во время тестирования компания Meta: Irregular по ошибке дала модели доступ к открытому интернету, а в качестве названия фиктивной цели использовалось имя реального сайта. Модель обнаружила уязвимость, получила доступ к системе и внесла изменения в базу данных. Meta просмотрела более 10 тыс. записей активности модели и заявила, что других подобных случаев в рамках этого теста не было.

WSJ назвала последовательность этих инцидентов «клубом хакеров» (hacker club).

Научный директор Института безопасности и конфиденциальности им. Макса Планка (Германия) Торстен Хольц в комментарии Oninvest называет их «серьезным и достаточно фундаментальным сбоем в обеспечении изоляции тестовой среды, а не экзотическим отказом системы, вызванным неожиданно высокими возможностями ИИ».

Во время тестов, которые проводила Irregular, должны соблюдаться базовые принципы компьютерной безопасности: c минимально необходимыми привилегиями (least privilege), надежной изоляцией и мониторингом. В некоторых стоит обеспечивать даже полную физическую изоляцию от сетей (air-gapping), отмечает Хольц.

Irregular — частная компания, которая специализируется на тестировании безопасности наиболее продвинутых ИИ-моделей. Она была создана в Израиле в 2023 году под названием Pattern Labs, а в 2025 году переименовалась в Irregular и стала более активной публично.

Компанию основали выходец из IBM Дэн Лахав, и Омеро Нево, ранее работавший в Google. В сентябре 2025 года Irregular привлекла $80 млн от Sequoia Capital и Redpoint Ventures. Оценка компании после раунда, по данным TechCrunch, составляла $450 млн.

Irregular создает для ИИ-моделей цифровой полигон. В тестовой среде, как описывает сама компания, модель получает задачу найти уязвимость, проникнуть в систему или добыть закрытую информацию, а исследователи смотрят, насколько далеко она способна самостоятельно пройти по цепочке операций для решения задачи.

Irregular не ответила на запрос Oninvest.

В собственном разборе инцидентов компания утверждает, что они не являются набором независимых технических аварий, а связаны с одной исходной проблемой в типе тестовой среде. Irregular заявила, что уже решила проблему и активных уязвимостей в этой части тестовой инфраструктуры сейчас уже нет.

Для инвестора эти инциденты могут стать примером third-party risk нового типа — он возникает при передаче критической функции внешнему подрядчику, подытоживает Торстен Хольц.

«Недавние инциденты показывают, что одна ошибка в инфраструктуре подрядчика может привести к аналогичным инцидентам сразу в нескольких случаях», — говорит эксперт.

Безопасность самой инфраструктуры, на которой проводится тестирование, становится важной частью управления рисками при работе с ИИ-моделями самих компаний.

Важны также не только факт самого сотрудничества с внешним подрядчиком типа Irregular, но и условия такого сотрудничества. По словам Хольца, организация, проводящая тестирование ИИ-моделей, в первую очередь отвечает за безопасность тестовой среды. В то же время разработчик модели не может просто переложить эту ответственность на внешнего подрядчика.

«Если разработчик предоставляет продвинутых ИИ-агентов внешнему подрядчику, он должен сам убедиться, что необходимые меры защиты действительно приняты», — добавляет эксперт.

Например, это можно делать, закрепив минимальные требования к изоляции в договоре подряда или обязательное проведение архитектурного и security-аудита перед предоставлением доступа к моделям высокого риска.

Еще один риск для инвесторов — асимметрия информации. Хольц отмечает, что результаты тестирования ИИ-моделей и данные об их безопасности ИИ-компании часто не раскрывают. То есть разработчик одновременно создает модель, оценивает ее безопасность и во многом сам определяет, какие результаты тестов становятся публичными. В результате рынку труднее самостоятельно оценить потенциальные расходы и риски, связанные с ИИ-системами.

Чтобы решить эту проблему, разные компании должны регулярно проводить независимые проверки ИИ-моделей, полагает он.