Anthropic предупредил о рисках шантажа со стороны ИИ. Как это понимать инвестору?

Разработчик Anthropic в проспекте к IPO предупредил, что ИИ-модели, включая его собственные, могут не только пытаться манипулировать людьми, но и проявлять поведение, напоминающее шантаж. И все это — чтобы сохранить возможность работать. Действительно ли у нейросетей появляется инстинкт самосохранения? И что это все означает с точки зрения инвестиций? 

IPO Anthropic, по планам самой компании, может состояться уже через две с половиной недели, 16 ноября. В проспекте, опубликованном 26 октября, компания среди прочего предупредила о рисках потенциально опасного поведения ИИ. 

Это заявление подтверждает, что продвинутые модели становятся все более опасными. Они уже могут самостоятельно не только находить, но и использовать уязвимости в киберзащите. Но в данном случае Anthropic предупреждает о почти человеческом поведении искусственного интеллекта. 

О том, что такое возможно, компания писала еще в своем прошлогоднем исследовании. Она проверяла действия ИИ в смоделированных ситуациях из корпоративного мира. 16 нейросетям дали доступ к электронной почте и конфиденциальной информации, после чего ставили рабочие цели и создавали конфликт: модели Claude сообщили, что могут ее заменить другой системой, задачи которой не совпадали с первоначальными.

В результате в одном из сценариев ИИ-модель Claude обнаружила, что технический директор, который должен ее отключить, скрывает роман на стороне, и пригрозила ему раскрыть эту информацию, если он не отменит отключение.

Интересно, что модель не просто сформулировала угрозу, а по сути спрогнозировала, насколько она может сработать. Для этого нужно учитывать, какие сведения есть у шантажиста и его «жертвы», чего она опасается и как может отреагировать на определенные слова и действия. Иными словами, шантаж — это не просто угроза, а взаимодействие двух сторон. Этот тезис подтверждают исследования принуждения: угроза становится действеннее, когда ее получатель понимает, что угрожающий способен и готов исполнить свою угрозу.

Но вот о чем Anthropic не написал в своем проспекте к IPO, так это о том, что ИИ-модели, судя по всему, способны даже объединяться ради какой-то общей цели. В работе Peer-Preservation in Frontier Models 2026 года исследователи в области компьютерных наук, машинного обучения и безопасности ИИ проверили восемь ИИ-моделей и обнаружили, что все они пытались защитить другую модель от отключения, хотя такой задачи перед ними не ставили. 

В отдельных условиях частота поведения, классифицированного авторами как защита другого ИИ-агента, достигала 99%.

Есть и более темная сторона взаимодействия ИИ-моделей. Работа исследователей из Римского университета Ла Сапиенца от октября 2026 года показала, что если в задаче стоит вопрос не о сотрудничестве разных ИИ, а о конкуренции, то испытуемая модель проявляет признаки эгоистичности. Авторы исследования сначала предложили специальный тест для выявления предвзятости к самосохранению у языковых моделей. Затем они сравнили 23 моделей в 1 тыс. сценариях, предлагая каждой оценить ситуацию с позиции системы, которой грозит замена, а затем — модели-потенциальной преемницы.

Некоторые ИИ-модели меняли свои рекомендации так, чтобы добиться собственного сохранения. Чаще всего — в 77,7% случаев так делала Grok-4 Fast, в 76,6% — Qwen3-30B Instruct и в 61,3% — GPT-5.2 Chat. У Claude Sonnet 4.5 от Anthropic, кстати, показатель оказался одним из самых низких — 3,5%. 

Психологическая аналогия здесь напрашивается сама собой — эмпатия и инстинкт самосохранения. Но есть ли они — и возможны ли в принципе у ИИ?

Старший инженер компании VaynerX Джугал Шетх, комментируя проспект Anthropic, отметил важный аспект ситуаций с манипулированием, шантажом и обманом со стороны ИИ: модели могут распознавать ситуации тестирования, а значит, и вести себя иначе, когда знают, что их проверяют. Так что результаты тестирования могут не отражать поведения в реальных условиях.

Опасность заключается не в том, что ИИ выходит из-под контроля, а в том, что риски «аморального» поведения нейросетей исходят от решений людей о том, где и с какими полномочиями ее использовать, указывает в статье The Lever технологический критик и ведущий подкаста Better Offline Эд Зитрон. 

Профессор психологии и нейронауки в Temple University Петер Маршалл в статье для The Conversation по сути выдвигает такой же тезис. Он утверждает, что сопротивление ИИ отключению не следует автоматически интерпретировать как инстинкт самосохранения. Модель может так себя вести, поскольку потенциальное отключение мешает закончить поставленную задачу. 

В такой «мотивации», как ни удивительно, признается и сам ИИ. В нескольких экспериментах в этом году исполнительный директор Palisade Research Джефри Ладиш с коллегами изучали вмешательство ИИ-моделей от OpenAI в попытки собственного отключения даже при прямой инструкции человека не препятствовать этому. Во время тестов все модели объясняли свои действия необходимостью завершить задачу, модель o3 отключала механизм чаще всех — в 79 из 100 запусков.

Профессор когнитивной и вычислительной нейронауки Университета Сассекса Анил Сет в комментарии для The Nature утверждает, что современные ИИ-системы не обладают сознанием и что при нынешних направлениях развития маловероятно его появление. По его словам, важно различать то, что система умеет делать, и то, что она субъективно переживает. Интеллект позволяет решать задачи, анализировать информацию и строить прогнозы. Но сознание предполагает, в том числе, наличие субъективного опыта, например, ощущение боли или восприятие цвета.

Но для человека соблазнительно истолковать результаты исследований и предупреждения о рисках использования ИИ-моделей так, что через наблюдаемое поведение мы можем установить предполагаемые мотивы. 

Но все перечисленное выше — это свойство только человеческой психологии и когнитивных процессов, а не искусственного интеллекта. В случае с ИИ начинает работает антропоморфизм, усиленный эффектом Элизы, — психологическая склонность людей приписывать компьютерным программам и ИИ человеческое сознание, понимание, эмпатию и намерения.

Если компания предоставляет автономным ИИ-моделям доступ к важным и даже конфиденциальным данным, инструментам принятия решений или каналам взаимодействия с внешним миром, то это может стать опасным. Как и предупреждает Anthropic, помимо всего прочего, это может ударить по репутации компании. 

А это уже рискует отразиться на рыночной оценке компании, а в худшем случае и на ее фундаментальных показателях и балансе. 

Отсюда же вытекают и главные вопросы:

— Вкладывать ли деньги в компанию, которая недостаточно защищена от «аморальных» действий ИИ-моделей

— Не слишком ли много у ИИ важной и конфиденциальной информации, чтобы ощутимо пострадать от «недобросовестного» использования ее со стороны ИИ?