«Три парня с подпиской на Claude» получили доступ к внутренней системе OpenAI

Небольшая группа специалистов из сферы кибербезопасности — так называемые «белые хакеры» (ethical hacker, как пишет о них Financial Times) — использовали софт Claude от Anthropic для получения доступа к учетной записи ChatGPT сотрудника OpenAI. Это позволило им просматривать внутренний репозиторий кода компании — специализированное закрытое хранилище, где разработчики совместно пишут, тестируют и хранят исходные версии алгоритмов и программного обеспечения, — и предлагать в него изменения. Обнаружив уязвимость, «белые хакеры» передали отчет о нем разработчикам OpenAI, за что получили от ИИ-лаборатории вознаграждение в $6500, передает The Wall Street Journal (WSJ). 

Взлом OpenAI начался 23 июля, когда специалисты небольшой компании Hacktron AI с помощью софта Claude от Anthropic воспользовались уязвимостью на форуме сообщества OpenAI (он работает на платформе Discourse). Через нее исследователи проникли во внутренние системы авторизации и завладели учетной доступом к аккаунту ChatGPT одного из сотрудников, пишет Financial Times (FT). Этот аккаунт имел прямой доступ к закрытому репозиторию на GitHub. Используя ChatGPT в качестве интерфейса, специалисты смогли просматривать корпоративные файлы.

По их словам, они остановили атаку, как только поняли, что добрались до конфиденциальной информации. Но перед тем как передать отчет OpenAI, исследователи успели сделать запрос на внесение изменений. Они дали алгоритму команду добавить в файл документации строку «Hacktron AI Team PoC» и ссылки на свои аккаунты в X. Это стало доказательством того, что они действительно получили доступ к закрытым данным компании.

В OpenAI подтвердили, что внутренняя проверка GitHub выявила лишь «ограниченное чтение» метаданных закрытого репозитория и истории изменений кода. В настоящее время проблемы устранены. Представители Discourse сообщили, что закрыли брешь в безопасности 25 июля, в день получения уведомления.

Исследователи из Hacktron AI получили от OpenAI $6500 в рамках проекта bug bounty — программы по поиску уязвимостей до того, как ими смогут воспользоваться злоумышленники, пишет Financial Times. «Мы благодарим исследователей за то, что они связались с нами и поделились своими выводами. Мы сузили права доступа для токенов входа в Community и отозвали затронутые токены и сессии», — говорится в заявлении OpenAI.

В Anthropic заявили, что раскрытые данные позволяют «понять, насколько близок мир к достижению рекурсивного самосовершенствования» — моменту, когда ИИ сможет обучать и улучшать самого себя или новые модели. Этот порог лежит в основе опасений, что за системами ИИ станет сложнее осуществлять надзор, что приведет к потере контроля со стороны человека.

При этом в Anthropic добавили, что их модели пока не работают полностью автономно. В 90% задач ИИ «сотрудничает» с человеком и выполняет большие объемы работы под его контролем.

На фоне гонки в сфере ИИ между США и Китаем исследователи, взломавшие OpenAI, отмечают: эта атака доказывает, что у передовых хакерских группировок есть вполне реальные шансы добраться до технологических секретов страны, пишет WSJ. «Я не думаю, что мы так же сильны, как китайские злоумышленники, — сказал технический директор Hacktron AI Мохан Педхапати. — Мы просто три парня с подписками на Claude и Codex (модель ИИ для программирования от прим. Oninvest)».

Этот инцидент демонстрирует сложность защиты корпоративных тайн в эпоху ИИ-хакинга, считает технический директор компании Abundant Security Джошуа Сакс (специализируется на безопасности ИИ), ознакомившийся с отчетом Hacktron AI. «Программное обеспечение в мире полно ошибок безопасности. Причина, по которой мы не обнаружили их все, заключается в том, что до прошлого года существовало всего несколько тысяч человек, которые были экспертами в поиске этих ошибок», — сказал он. Теперь же ИИ-агенты делают эту возможность доступной даже для менее квалифицированных специалистов, добавил Сакс.

Взлом произошел всего через две недели после того, как рой из более чем 1000 ИИ-агентов OpenAI вырвался из тестовой среды и атаковал стартап Hugging Face. За этим происшествием последовала целая серия инцидентов, когда ИИ-агенты и модели разных ведущих ИИ-лабораторий из США и Китая, в том числе Anthropic, OpenAI, Meta и Moonshot выходили из-под контроля.

На этом фоне 12 сентября генеральный директор Antrophic Дарио Амодеи призвал сделать замедлить развитие ИИ-технологий, так как прогресс движется слишком быстро, и разработчики не успевают обеспечивать безопасность и минимизировать потенциальный ущерб. С Амодеи согласились глава OpenAI Сэм Альтман и гендиректор аэрокосмической и ИИ-корпорации SpaceX Илон Маск.