«Хакерский ИИ»: впечатлившая рынок нейросеть из Китая вышла из-под контроля при тесте

Новейшая модель искусственного интеллекта Kimi K3 от китайского стартапа Moonshot смогла выйти за пределы изолированной тестовой среды британского правительственного Института безопасности ИИ (AI Security Institute), обратил внимание Bloomberg.

Инцидент зафиксировала американская компания по исследованию кибербезопасности Frontier Security. По словам ее основателя и генерального директора Ярона Сингера, публично доступная модель Kimi не имеет необходимых защитных ограничений. «По сути, это делает ее очень хорошей хакерской моделью», — заявил он Bloomberg.

Хотя в отличие от моделей Anthropic, OpenAI и Meta, которые в ходе недавних тестов также смогли самостоятельно получить доступ к интернету, Kimi K3, оказавшись в большой сети, не пыталась атаковать сторонние сайты и системы. Тем не менее, исследователи указывают, что отсутствие средств контроля само по себе представляет угрозу. 

Представитель Moonshot оперативно ситуацию не прокомментировал. Институт безопасности ИИ, из чьей тестовой среды смогла выбраться Kimi K3, на запросы Bloomberg не ответил.

Moonshot стала уже четвертой ИИ-лабораторией, чьи модели выходили за рамки тестовых сред. Ранее аналогичные инциденты были зафиксированы в ходе тестов разработок американских Anthropic, OpenAI и Meta. Однако, оказываясь в интернете, их модели взламывали системы сторонних организаций. Эти случаи вызвали обеспокоенность исследователей и представителей властей по поводу кибербезопасности и способности разработчиков контролировать свои ИИ-модели.

Выпущенная в середине июля Kimi K3 стала очередным свидетельством того, что разработки китайских лабораторий искусственного интеллекта все быстрее приближаются по своим параметрам к американским аналогам. По производительности Kimi K3 приближается к передовой ИИ-модели Fable от Anthropic, утверждали ее создатели. Аналитики Jefferies назвали релиз Moonshot «неожиданным прорывом», а Илон Маск отозвался о ней как о «впечатляющей» разработке.