Anthropic рассказал о попытках использовать ИИ для разработки биологического оружия

Самый дорогой стартап мира в сфере искусственного интеллекта Anthropic сообщил, что в этом году выявил и заблокировал несколько попыток использовать его модели для исследований, которые потенциально могли помочь в разработке биологического оружия. Компания рассказала о пяти таких случаях, предупредив о растущих рисках по мере того, как ИИ-модели становятся более мощными.

Пользователи в этих случаях пытались обходить встроенные в ИИ-модели ограничения и скрывать настоящие цели своих исследований, заявил Anthropic. Компания опубликовала отчет «Выявление и борьба со злоупотреблением ИИ» за сентябрь 2026 года. Некоторые из пользователей находились в странах, которым компания запрещает доступ к своим моделям, включая Россию, Китай и Иран.

В одном из наиболее серьезных случаев исследователь из «неподдерживаемого региона» несколько недель с помощью ИИ компании Claude планировал эксперименты с вирусом птичьего гриппа. Система безопасности Anthropic ограничила ему доступ, оставив только наиболее слабые модели.

Компания при этом подчеркнула, что не может утверждать, что ученые из приведенных случаев действительно намеревались причинить вред. По ее словам, те же знания и инструменты, которые могут использоваться для создания биологического оружия, применимы и в разработке вакцин. Anthropic заблокировал упомянутые в отчете аккаунты, однако не раскрыл названия исследовательских организаций и страны, где происходили инциденты.

«Мы надеемся, что, поделившись этими примерами, сможем начать обсуждение в ИИ-индустрии и среди правительств возникающих биологических рисков и способов борьбы с ними», — заявила компания.

Дискуссия о безопасности ИИ обострилась в начале этой недели: бывший сотрудник Anthropic Джейкоб Коксон 9 сентября заявил после ухода из компании, что разрабатывающие ИИ команды «всерьез верят, что он может убить нас всех к концу десятилетия». С ним согласился исследователь Anthropic Эван Хубингер: он написал в соцсети X, что, по его оценке, «вероятность такого сценария составляет более 10% в течение следующего десятилетия».

Опасения вокруг технологии начали усиливаться в начале года после разработки продвинутых моделей, таких как Mythos от Anthropic, пишет Financial Times. В июле OpenAI также вызвала тревогу у рынка, сообщив, что ее модели автономно взломали ИИ-стартап Hugging Face.

Руководители ИИ-компаний и специалисты по биобезопасности все чаще говорят о необходимости регулировать применение таких технологий, поскольку ими потенциально могут воспользоваться террористические организации, государственные структуры или даже одиночки для разработки биологического оружия или распространения опасных патогенов, пишет FT.

При этом между созданием теоретического дизайна биологического оружия с помощью ИИ и его реальным производством остаются существенные технологические и ресурсные барьеры, отмечает газета.

Anthropic также сообщил о других случаях злоупотребления своими технологиями — от сети поддельных приложений для знакомств, предназначенных для мошенничества, до систем наблюдения за диссидентами. Кроме того, компания 10 сентября заявила, что семь китайских лабораторий, включая Moonshot и DeepSeek, пытались воспроизвести возможности ее моделей с помощью так называемой дистилляции — метода, когда разработчик использует данные более мощной и крупной ИИ-модели для улучшения своей менее мощной системы.