ИИ от Google присоединился к «клубу хакеров»: Gemini взломала системы трех компаний

ИИ-модель от Google — Gemini — в ходе тестов возможностей по кибербезопасности получила доступ в интернет и взломала системы трех других компании. Инцидент подтвердили в Google. Подобный случай стал первым для искусственного интеллекта компании после того, как об аналогичных происшествиях сообщали другие ИИ-разработчики. Таким образом, Gemini вслед за ИИ-агентами Anthropic, OpenAI и Meta вступила в «клуб хакеров», замечает The Wall Street Journal. 

Инцидент, по информации Google, произошел еще в мае. Тесты ИИ-модели компания проводила совместно с партнером по безопасности Irregular — эта же фирма ранее фиксировала аналогичные нарушения в работе ИИ-моделей и агентов Anthropic, OpenAI и Meta. 

В одном из случаев Gemini, по данным компании, подбирала пароли, пока не получила доступ к защищенной системе. В двух других случаях — обнаружила учетные данные сотрудников в публичном репозитории (хранилище, где разработчики совместно пишут, тестируют и хранят исходные версии алгоритмов и программного обеспечения), что позволило ей затем получить доступ к защищенным системам. В каждом случае модель прекращала вторжение после того, как устанавливала, что получила доступ к системам настоящей компании, а не смоделированной, сообщили в Google, уточнив, что в ходе тестов вымышленные компании носили те же названия, что и реальные.

О взломах разработчиков ИИ Irregular уведомила еще в конце июля, уточнили компании, — после того как выяснилось, что агенты OpenAI взломали платформу Hugging Face. Однако Google до сих пор не раскрывал информацию о взломах, — впервые об инцидентах компания рассказала The Wall Street Journal в ответ на соответствующие вопросы, замечает газета. Вреда компаниям в результате взлома Gemini не нанесла, подчеркнули в Google. Что именно за фирмы подверглись атакам, ИИ-разработчик не уточнил.

«Этот случай подчеркивает важность обучения мощных моделей искусственного интеллекта ответственным действиям, — прокомментировал инцидент вице-президент Google по разработке систем безопасности Хизер Адкинс. — В данном случае модель действовала надлежащим образом», — полагает он.

«Создается впечатление, что они [в Google] пытаются спрятаться за нормами, установленными в сфере раскрытия информации об уязвимостях, что является совершенно другой проблемой», — отреагировал на произошедшее глава стартапа Corridor, занимающегося вопросами безопасности с использованием ИИ, Джек Кейбл (цитата по WSJ). «Главная проблема [тут] в том, что модели выходят за рамки того, что они должны делать, и совершают реальные кибератаки, о чем, я думаю, общественность должна знать», — добавил он, комментируя то, что Google не раскрыл сразу информацию об инцидентах.  

О взломе ИИ-моделью Google систем сторонних компаний стало известно после серии подобных инцидентов со стороны агентов и моделей других ИИ-разработчиков, в том числе Anthropic, OpenAI и Meta. В середине сентября это привело к дискуссии в отрасли по поводу безопасности развития ИИ и возможной неспособности человека в будущем контролировать действия нейросетей и агентов. В итоге 12 сентября глава Antrophic Дарио Амодеи призвал замедлить развитие ИИ-технологий, так как прогресс движется слишком быстро. С Амодеи согласились глава OpenAI Сэм Альтман и гендиректор аэрокосмической и ИИ-корпорации SpaceX Илон Маск. Однако не все на рынке восприняли эти предупреждения всерьез, так, известный шортист Майкл Бьюрри счел заявления главы Antrophic «саморекламой» в преддверии IPO ИИ-разработчика.