Nvidia представила систему защиты от выхода ИИ-агентов из-под контроля

Nvidia представила двухуровневую ИИ-систему безопасности Open Agent Safety Platform, которая в реальном времени ограничивает доступ агентов к данным и отключает их при нарушении правил. По оценке компании, эта платформа могла бы предотвратить недавний взлом Hugging Face агентами OpenAI.

Если бы передовые ИИ-лаборатории использовали технологию Nvidia для оценки своих агентов и моделей искусственного интеллекта на ранних этапах, это могло бы предотвратить атаку против Hugging Face, заявил вице-президент Nvidia по корпоративному ИИ Джастин Бойтано во время брифинга в преддверии релиза Open Agent Safety Platform, передает Bloomberg. «Насколько нам известно, эта новая платформа безопасности могла бы остановить взлом», — сказал он.

Комментировать, планируют ли OpenAI или ее главный конкурент — Anthropic — использовать ИИ-систему безопасности Nvidia для мониторинга своих агентов во время тестов, Бойтано не стал.

Одним из компонентов платформы является программный продукт Nvidia OpenShell, который компания уже представила на своей технологической конференции в марте, напоминает Bloomberg. Он работает на центральных процессорах Nvidia Vera и ограничивает возможности агентов (ограничения в режиме реального времени с помощью новой технологии во время тестов могут устанавливать разработчики). Кроме того, Nvidia представила инструмент Sentry, который отслеживает работу агентов и выполняется не на центральных (CPU) или графических (GPU) процессорах, а на сетевых чипах, поясняет CNBC. Инструмент предназначен для обеспечения дополнительного уровня мониторинга с помощью ИИ, который контролирует действия агентов и вмешивается, чтобы изолировать тех, кто ведет себя подозрительно, говорится в релизе компании.

Часть программного обеспечения новой платформы Nvidia распространяется с открытым исходным кодом, а значит, его можно свободно использовать и адаптировать под разные продукты, поясняет Bloomberg.

«Мы считаем, что этот дополнительный уровень безопасности позволит индустрии безопасно тестировать даже самые передовые системы ИИ. Он может поместить подозрительного агента «на карантин» за миллисекунды», — добавил Бойтано. 

Акции Nvidia после объявления о запуске системы кибербезопасности тем не менее снизились на 0,4% на премаркете 28 сентября, с начала года они прибавили чуть больше 20%.

Выпуск Open Agent Safety Platform от Nvidia последовал за тем, как передовые ИИ-разработчики, включая OpenAI, Anthropic, Meta и Google, раскрыли недавние инциденты, в ходе которых их ИИ совершил побег из своих «песочниц» во время тестов и пытался взломать системы других компаний. На этом фоне генеральный директор Anthropic Дарио Амодеи выразил обеспокоенность из-за слишком быстрых темпов развития ИИ и призвал замедлить разработку технологии. 23 сентября вместе с гендиректором OpenAI Сэмом Альтманом он выступил на Генассамблее ООН с призывом к глобальной координации и созданию международных стандартов разработки нейросетей.

Глава Nvidia Дженсен Хуанг, реагируя на это, выступил против замедления развития искусственного интеллекта. Дополнительное регулирование ИИ он назвал «совершенно ненужным», но при этом заметил, что ИИ должен проходить строгие тесты на безопасность. Именно эту область — кибербезопасность — Хуанг позже назвал следующим возможным крупным рынком для искусственного интеллекта. Поскольку уязвимости в коде теперь могут эксплуатироваться гораздо быстрее — значит, и устранять их приходится быстрее, пояснял в середине сентября глава компании.