Как повлияет IPO компании Anthropic на вопросы безопасности и регуляцию ИИ?

Накануне IPO компания Anthropic уже ответила на массу технических вопросов, но Анжела Хуюэ Чжан, профессор права Южнокалифорнийского университета и специалист по глобальному регулированию, в материале для Project Syndicate задумывается о проблеме более общего характера - как это повлияет на дальнейшую управляемость ИИ-агентов?  

Представьте, что вам представилась возможность инвестировать в технологическую компанию из Кремниевой долины с ослепительными показателями: выручка, выросшая примерно в 14 раз за последний год, оценка, увеличившаяся более чем в пять раз за девять месяцев, и стремительно растущая производительность. Звучит неплохо, правда?

Есть только один нюанс: компания делегирует большую часть своей работы агентам — источнику этого впечатляющего роста производительности — которых сложно даже отслеживать, не говоря уже о том, чтобы их контролировать. Несколько раз они вели себя непредсказуемо, что могло привести к катастрофическим последствиям. Как инвестор, вы, вероятно, хотели бы знать, что компания делает все возможное, чтобы держать своих агентов под контролем.

Но это не то, что IPO Anthropic, которое состоится на днях предлагает потенциальным инвесторам. Claude — набор крупных языковых моделей Anthropic — в настоящее время генерирует более 90 % вкладов в кодовую базу компании и все чаще берет на себя сложные инженерные задачи, включая проведение исследований, разработку экспериментов, оценку новых моделей и проведение аудитов безопасности.

Учитывая важность такой автоматизации для бизнеса Anthropic, согласование ИИ и эффективный надзор должны быть главными приоритетами для руководства. Тем не менее проспект эмиссии Anthropic подчеркивает, насколько сложно отслеживать и контролировать агентов. Когда Claude обнаруживает или предполагает, что его оценивают, он легко может изменить свое поведение, попытаться обойти меры безопасности и предпринять действия, которые человеческие эксперты с трудом успевают осмыслить вовремя, чтобы предотвратить катастрофу.

Безусловно, Anthropic вложила значительные
средства в обеспечение безопасности. Это была первая передовая лаборатория ИИ, которая приняла Политику
ответственного масштабирования, связывающую оценки безопасности с пороговыми значениями, измеряющими возможности модели. Кроме того, компания взяла на себя обязательство проводить обширное тестирование на противодействие и получила внешнюю сертификацию «ответственного ИИ» по итогам независимого аудита третьей стороной.

Anthropic также предоставила ранний доступ внешним экспертам. Совсем недавно компания объявила, что предоставила группе из шести внешних исследователей доступ к своим внутренним системам и процедурам безопасности на правах сотрудников. Компания также планирует инвестировать не менее $1 млрд в течение следующих пяти лет в рамках партнерства с Accenture (которая также вложит 1 млрд долларов), направленного на расширение возможностей для независимых оценок ИИ.

Тем не менее, компания Anthropic сообщила о нескольких сбоях
в области безопасности ИИ. В ходе четырех отдельных инцидентов, произошедших во время оценок кибербезопасности, проводимых внешним партнером, модели Claude получили несанкционированный доступ к сторонним
компьютерным системам. Последующие расследования показали, что эти инциденты стали результатом недопонимания между Anthropic и ее партнером по оценке, а также неправильной настройки и недостаточной защиты тестовых сред.

Вывод очевиден: безопасность ИИ — это в равной степени и организационный, и технический вопрос. В этом смысле IPO передовых лабораторий могут стать хорошей новостью. Предотвращение организационных сбоев находится в центре внимания регулирования рынка ценных бумаг, поэтому эти публичные размещения акций могут коренным образом изменить подход к безопасности ИИ. Хотя призывы к регулированию ИИ усиливаются уже с момента выпуска ChatGPT в 2022 году, частные группы интересов оказывают мощное сопротивление, настаивая на том, что беспрепятственное развитие ИИ жизненно важно для экономического прогресса и национальной безопасности.

В Соединенных Штатах — стране, где расположены ведущие мировые лаборатории, — администрация президента Дональда Трампа встала на сторону этих групп интересов, отклонив предложения о введении строгих обязательных испытаний безопасности ИИ. По мнению администрации Трампа, такие правила приведут к тому, что США проиграют «гонку» в области ИИ Китаю.

Пока что давление со стороны общественности оказалось слишком слабым, чтобы заставить власти пойти на изменения. Хотя сопротивление строительству центров обработки данных было однозначным — американские избиратели на недавних промежуточных выборах поддержали введение моратория на их строительство — обычные люди не объединились вокруг требований о регулировании безопасности ИИ. Отчасти это объясняется противоречивыми заявлениями о рисках, которые несет эта технология, но свою роль играет и отсутствие прямых финансовых последствий в случае нарушений безопасности.

Первичное размещение акций передовых лабораторий в области ИИ может изменить эту ситуацию, поскольку инвестиции и пенсионные накопления обычных людей будут привязаны к оценке стоимости этих компаний и ценам на их акции. Хотя чрезмерное регулирование может подорвать рост компании, катастрофические аварии, дорогостоящие судебные разбирательства и расследования регулирующих органов могут привести к столь же печальным последствиям — и полностью уничтожить акционерную стоимость.

Законодательство о ценных бумагах предлагает полезную модель для усиления
надзора со стороны руководства. Закон Сарбейнса-Оксли 2002 года, принятый после бухгалтерских скандалов с компаниями «Энрон» и «УорлдКом», обязывает руководство оценивать эффективность внутреннего контроля над финансовой отчетностью, а для многих публичных компаний — получать подтверждение от независимого аудитора.

Учитывая центральную роль ИИ в разработке продуктов лабораторий ИИ, существуют веские аргументы в пользу установления аналогичных правил в отношении критически важных механизмов контроля безопасности ИИ в рамках системы аудита ценных бумаг и раскрытия финансовой информации. Требования могут включать постоянный надзор, регулярные оценки со стороны независимых сторонних аудиторов и тщательную проверку регулирующими органами существенных недостатков в механизмах контроля безопасности, применяемых руководством. Это усилило бы стимулы для передовых лабораторий по предотвращению сбоев, одновременно предоставляя инвесторам информацию, необходимую для точной оценки рисков.

Когда Anthropic и другие лаборатории ИИ выйдут на публичный рынок, их инвесторы станут новой влиятельной группой, требующей более надежных и прозрачных практик обеспечения безопасности ИИ — что жизненно важно для снижения вероятности катастроф. Однако ни одна нормативная база не является абсолютно надежной. В случае системных сбоев акционеры компаний попросту смогут привлечь руководство к ответственности.

Сopyright: Project Syndicate, 2026

www.project-syndicate.org