ИИ-модель Meta взломала систему другой компании во время теста

ИИ-модель Meta во время теста по кибербезопасности взломала систему другой компании, рассказала сама Meta. Таким образом, она стала уже третьей ИИ-лабораторией — после OpenAI и Anthropic, — чьи ИИ-модели вышли из-под контроля во время испытаний, пишет Business Insider.

Речь идет об ИИ-модели Muse Spark, которая, как рассказали в Meta, «использовала уязвимость безопасности в стороннем сервисе, аналогично ранее зафиксированным другими компаниями случаям». Инцидент произошел из-за непреднамеренной «ошибки в настройках, допущенной независимой тестовой компанией Irregular, которую использует Meta» (цитата по CNN). Из-за нее ИИ-модель во время тестирования «случайно» получила доступ в интернет.

По данным The Information, которое первым сообщило об инциденте, нейросеть Meta во время тестов взломала системы неназванной компании и внесла изменения в ее внутреннюю систему. Что именно это была за компания, в Meta не уточнили.

Irregular, комментируя в свою очередь произошедшее, заметила, что взлом произошел по тем же самым причинам, из-за которых ИИ-модели Anthropic на прошлой неделе смогли получить доступ к интернету, после чего взломали системы трех разных организаций. «[Инцидент с ИИ-моделью Meta] не был связан с выходом за пределы изолированной среды или сложной кибератакой», — заверили в компании.

Все случилось из-за того, что в некоторых тестовых средах в ходе проверки систем кибербезопасности ИИ-модели имели ограниченный доступ к интернету, чтобы имитировать реальные сценарии угроз, пояснил CNN знакомый с ситуацией источник. Однако в данном случае возникла редкая «проблема в настройке», добавил он.

Сообщения о взломе ИИ-моделями сторонних компаний от уже третьей крупной ИИ-лаборатории вызывает опасения по поводу того, смогут ли разработчики сдерживать все более совершенные ИИ-системы и не будут ли передовые нейросети и ИИ-агенты сами по себе представлять новые риски кибербезопасности, пишет Reuters. Так, инциденты, связанные со взломами сторонних систем моделями Meta и Anthropic были вызваны ошибками настройки, которые предоставили им доступ к интернету. В то время как случае с ИИ-агентом OpenAI — технология самостоятельно использовала ранее неизвестную уязвимость, чтобы получить доступ к интернету во время тестов систем кибербезопасности, замечает агентство.

На этом фоне на этой неделе Белый дом пригласил представителей ведущих разработчиков ИИ, включая Meta, Anthropic, OpenAI и Google, на встречу с чиновниками для обсуждения «добровольных» правил тестирования кибербезопасности передовых ИИ-моделей, выяснил Reuters. В ходе этой встречи администрация президента США Дональда Трампа заявила ИИ-лабораториям, что не будет подвергать тестам на безопасность ИИ-модели с открытыми весами, вроде Nemotron от Nvidia и Llama от Meta, рассказали агентству знакомые с переговорами источники. Передовые ИИ-модели от OpenAI, Google и Anthropic — закрытые. Это значит, что их параметры не публикуются в открытом доступе, а использовать эти модели — в отличие от открытых — можно только через системы их разработчиков, а не скачивать и запускать самостоятельно.