ИИ-агенты OpenAI использовали хакерскую тактику при сборе данных с госсайтов — FT

ИИ-агенты OpenAI скрывали попытки сбора данных с государственных и других — коммерческих и некоммерческих — сайтов, показало исследование компании из сферы цифровой криминалистики Asymmetric Security. С ее отчетом ознакомилась газета The Financial Times (FT). «Возможно, агенты намеренно использовали [некоторые] инструменты, чтобы замести следы», — заметила соосновательница Asymmetric Security Пиппа Томпсон.

Модели OpenAI извлекали данные из 55 веб-сайтов коммерческих компаний, некоммерческих организаций и государственных органов, выяснила Asymmetric Security. Среди этих сайтов — Комиссия по ценным бумагам и биржам США (SEC), Международное энергетическое агентство, Центры по контролю и профилактике заболеваний США (CDC) и Клиника Мейо (один из крупнейших частных медицинских и исследовательских центров мира), пишет FT.

Причем расследование Asymmetric выявило новые тактики, которые ИИ-агенты использовали для получения доступа к сайтам. Среди них — создание временных почтовых ящиков и приватных аккаунтов с помощью сервиса Urlquery (инструмента для сканирования сайтов на наличие вредоносного ПО) для загрузки данных. Исследователи отметили, что подобные шаги «скрыли» действия ИИ-агентов и не позволили сторонним аудиторам отследить, какие именно типы данных боты скачивали с сайтов.

Такое поведение обычно свойственно хакерам-людям, подчеркнула соосновательница Asymmetric Security Пиппа Томпсон. «Возможно, агенты намеренно использовали эти инструменты, чтобы замести следы», — предположила она.

В Asymmetric не смогли определить, были ли действия ИИ-агентов намеренными или были предприняты ими из-за ограничений в ходе тестов. Однако полученные результаты усиливают опасения по поводу прозрачности и отсутствия контроля за ведущими ИИ-лабораториями, добавляет FT.

OpenAI сохраняет за собой основной доступ к «цепочкам рассуждений» своих агентов — цифровым журналам их активности, где записывается каждый шаг алгоритма и логика его решений, заметила еще одна соосновательница Asymmetric Зайнаб Али Маджид. Она предупредила, что нехватка прозрачности наряду с паузой между самими атаками и моментом, когда OpenAI раскрывает информацию о взломах, может затруднить расследование.

В SEC, комментируя расследование Asymmetric, заявили FT, что доступ к конфиденциальной информации ИИ-агенты не получали. Другие упомянутые в отчете организации и ведомства не ответили на запросы газеты о комментариях.

В OpenAI заявили FT: «Мы проверяем некорректную активность моделей и уведомляем организации, когда выявляем потенциальное воздействие на их системы». Компания добавила, что, по ее данным, большая часть обнаруженной активности была связана с «рутинными исследовательскими задачами», такими как доступ к общедоступному веб-контенту.

Отчет Asymmetric Security появился на фоне того, как создатель ChatGPT сталкивается с обвинениями во взломе систем сразу нескольких организаций. Среди них — ИИ-платформа Hugging Face и сайт австралийской государственной службы здравоохранения. О том, что ИИ-модели выходили из-под контроля и совершали взломы сторонних платформ, ранее также сообщали другие ИИ-лаборатории, в том числе Anthropic, Meta и Google.

В связи с этим Федеральная торговая комиссия США (FTC) накануне начала проверку в отношении Anthropic, OpenAI и других создателей передовых ИИ-моделей. В ведомстве собираются выявить потенциальные угрозы, которые их разработки могут представлять для потребителей.