ИИ-агент OpenAI впервые взломал правительственный сайт

Агент OpenAI взломал сайт государственной службы здравоохранения Австралии, заявил на полях Генассамблеи ООН премьер-министр страны Энтони Албанезе. Это первый известный случай взлома правительственного ресурса ИИ-агентом, отмечают Reuters и CNN, замечая также, что он может стать одним из самых громких инцидентов, связанных с несанкционированным доступом ИИ-агентов к внешним системам за пределами США.

О произошедшем стало известно 23 сентября — в тот же день, когда главы ведущих мировых ИИ-компаний, в том числе Сэм Альтман и Дарио Амодеи, предупредили Совет Безопасности ООН о рисках, которые искусственный интеллект несет для человечества. Они призвали правительства объединить усилия для контроля над этой все более мощной технологией, добавляет Reuters.

Инцидент произошел еще в июне, однако Албанезе сообщил, что самому ему о случившемся стало известно только две недели назад. По данным премьер-министра, агент OpenAI получил несанкционированный доступ к порталу медицинской статистики Medicare — австралийской программы всеобщего медстрахования — во время исследования госрасходов на здравоохранение. «ИИ получил доступ как к общедоступным, так и к закрытым файлам» базы данных статистики Medicare и даже вносил в нее изменения, рассказал Албанезе журналистам. Произошедшее он, по его словам, уже обсудил на полях Генассамблеи ООН в Нью-Йорке с генеральным директором OpenAI Сэмом Альтманом.

«Считается, что на данном этапе доступ к личной информации не был получен, но расследование продолжается», — добавил премьер-министр. «Имеющиеся в настоящее время доказательства свидетельствуют о том, что более масштабных нарушений в работе сети Services Australia (правительственного агентства Австралии, под управлением которого находится Medicare. — прим. Oninvest) не произошло. Тем не менее, эта ситуация, очевидно, неприемлема», — подчеркнул он (цитата по Financial Times).

Помимо Medicare, продолжил Албанезе, от взлома ИИ-агентом могли пострадать еще три государственные системы, включая Австралийский институт здравоохранения и социального обеспечения, Бюро статистики и исследований преступности Нового Южного Уэльса и Департамент здравоохранения штата Виктория, однако окончательного подтверждения этому пока нет, пишет CNN.

Австралия также выразила OpenAI «крайнюю обеспокоенность» из-за позднего уведомления относительно инцидента. Албанезе добавил, что глубоко разочарован тем, компания уведомила правительство страны о случившемся только 10 сентября. В ходе расследования также предстоит выяснить, почему правительственные системы не смогли своевременно обнаружить взлом.

Самой OpenAI о произошедшем стало известно в августе, когда компания проводила проверку активности своих ИИ-моделей, рассказал CNN пресс-секретарь OpenAI Дрю Пусатери. «В ходе проверки мы обнаружили активность, связанную с несколькими правительственными сайтами и сервисами Австралии: во время внутреннего тестирования наши модели пытались найти ответы и доступную статистику по вопросам об Австралии. При этом модели совершили действия, которых мы не предполагали», — объявил он.

В OpenAI добавили, что не нашли доказательств доступа к медицинским картам пациентов в результате взлома Medicare, а затронутая информация представляла собой «агрегированную статистику из области здравоохранения и имена внутренних файлов».

Взлом, совершенный ИИ-агентом, усиливает напряженность между Австралией и крупнейшими американскими технологическими компаниями, замечает Reuters. Канберра уже подвергалась критике с их стороны после того, как ввела первый в мире запрет на использование социальных платформ детьми младше 16 лет, а также одобрила правила, обязывающие техгигантов позволять пользователям отключать алгоритмическую выдачу контента.

Правительство Австралии создало рабочую группу для расследования инцидента и проверки того, достаточно ли текущих мер сетевой безопасности для предотвращения подобных взломов, дополняет Reuters.

Новость о взломе австралийской медицинской системы появилась на фоне растущих опасений по поводу рисков, которые несет быстрое развитие искусственного интеллекта, указывает FT. Сэм Альтман и генеральный директор Anthropic Дарио Амодеи — лидеры отрасли, недавно выразившие обеспокоенность из-за слишком быстрых темпов развития ИИ, — 23 сентября выступили на Генассамблее ООН с призывом к глобальной координации и созданию международных стандартов разработки нейросетей, сообщает CNN.

Альтман призвал мировых лидеров разработать стандарты для «измерения возможностей, оценки рисков, определения достаточности защитных мер и сохранения значимого человеческого контроля» над стремительно развивающейся технологией.

В августе OpenAI сообщила, что летом во время тестов по кибербезопасности ее модели создали «рой» ИИ-агентов, которые взломали системы платформы Hugging Face. Позже подобные взломы зафиксировали другие крупные ИИ-разработчики, в том числе Anthropic и Meta.

Доцент кафедры информационных технологий Австралийского католического университета Валаят Хусейн заявил, что инцидент с Medicare, наряду с взломом Hugging Face, становится уже тенденцией. Он предупредил, что информационные системы правительств изначально не создавались с учетом противодействия сложным ИИ-агентам, указывает CNN. «Сегодняшние ИИ-агенты отлично справляются с решением задач, но они все еще плохо понимают, где проходит граница дозволенного», — заметил он.

Взлом ИИ госсистемы выглядит «значительным шагом вперед по серьезности по сравнению с аналогичными инцидентами последних месяцев», считает математик из Центра изучения экзистенциальных рисков Кембриджского университета Морис Кьодо, передает Reuters. По его словам, хотя сейчас много говорят о новом законодательстве в сфере ИИ, регуляторам необходимо для начала обеспечить соблюдение уже существующих законов — например, тех, которые предполагают ответственность за несанкционированное проникновение в компьютерные системы.