Anthropic меняет приоритеты: почему стартап снижает стандарты ИИ-безопасности?

Создатель ИИ-модели Claude Anthropic, чьи обновления весь февраль были причинами распродаж на фондовом рынке, сообщил, что смягчает ключевые положения своей политики безопасности. Стартап прежде был известен, как один из самых ориентированных на безопасность игроков на рынке ИИ, отмечает Wall Street Journal. 

Решение в Antropic связали с необходимостью сохранить конкурентоспособность по отношению к другим ИИ-лабораториям. 

В 2023 году в рамках своей политики «Ответственного масштабирования» (Responsible Scaling Policy) компания обещала откладывать разработку потенциально опасных моделей, которые помогали бы, например, в разработке или распространении биологического и химического оружия. Однако в опубликованном во вторник, 24 февраля, сообщении Anthropic заявил, что обновляет правила: теперь компания не будет автоматически приостанавливать развитие ИИ-моделей, если сочтет, что не имеет существенного технологического преимущества перед конкурентами.

«Регуляторная среда сместилась в сторону приоритета конкурентоспособности ИИ и экономического роста, тогда как обсуждения, ориентированные на безопасность, пока не получили значимого продвижения на федеральном уровне», — говорится в сообщении компании.

В своем блоге, посвященном изменениям, компания также сообщила, что будет регулярно публиковать цели в сфере безопасности и отчеты о рисках своих моделей, которые будут оцениваться «независимой третьей стороной». Речь идет о привлечении сторонних специалистов по безопасности ИИ, которые получат доступ к полной версии отчетов и дадут публичную оценку аргументации и выводам компании, говорится в сообщении Anthropic.

Пересмотр правил безопасности Antropic выглядит неожиданным, поскольку компания долгое время пыталась выделяться на фоне конкурентов именно жесткой позицией по безопасности, соперничая при этом с другими игроками за лидерство в сфере ИИ, пишет Bloomberg. Гендиректор Anthropic Дарио Амодеи ранее работал в OpenAI и покинул компанию, в том числе из-за опасений, что она делает ставку на коммерциализацию и скорость в ущерб безопасности, указывает агентство.

Однако на фоне спора компании с Минобороны США давление на Anthropic могло усилиться, обращает внимание The Wall Street Journal. С Пентагоном, по данным WSJ, у Anthropic был заключен оборонный контракт, который позволял использовать Claude для аналитической работы и обработки данных, в том числе в засекреченных средах. При этом сам Anthropic ранее заявлял, что инструменты его ИИ-платформы Claude нельзя использовать для внутренней слежки и в системах автономного оружия. Пентагон несколько месяцев вел переговоры со стартапом о том, как именно военные могут применять Claude, рассказывали источники Axios. В итоге оборонное ведомство дало Anthropic срок до 27 февраля, чтобы смягчить правила, иначе Anthropic рискует потерять контракт, пишет WSJ.

До недавнего времени Anthropic считался единственным разработчиком ИИ-моделей, допущенным к работе в засекреченных условиях, отмечает газета. Однако 23 февраля стало известно, что Минобороны США также заключило соглашение с xAI, разрешив использование Grok в засекреченных сетях. Кроме того, соглашения с Пентагоном имеют также OpenAI и Google.

При этом представительница Anthropic заявила The Wall Street Journal, что нынешний пересмотр политики безопасности компании не был связан с переговорами ИИ-стартапа с военным ведомством.

Anthropic сталкивается с жесткой конкуренцией со стороны таких компаний, как OpenAI, xAI Илона Маска, а также Google, которые регулярно выпускают передовые ИИ-инструменты, отмечает Wall Street Journal. Anthropic и OpenAI при этом рассматривают возможность выхода на IPO уже в этом году, стремясь воспользоваться высоким интересом инвесторов к ИИ. Недавняя оценка Anthropic составляла $380 млрд, тогда как общая оценка OpenAI, исходя из привлеченного компанией финансирования, достигает более $850 млрд.

Тем не менее, вопросы безопасности продолжают волновать сотрудников Anthropic и других ИИ-компаний. За последние недели несколько исследователей в области ИИ покинули Anthropic и другие технологические компании, предупредив, что вопросы безопасности отходят на второй план на фоне привлечения миллиардных инвестиций и подготовки к возможным IPO, пишет WSJ. С аналогичными ситуациями, по данным издания, сталкиваются в том числе OpenAI, разработчик ChatGPT, и Google.

Anthropic была основана в 2021 году после того, как Дарио Амодеи и другие соучредители ушли из OpenAI, полагая, что разработчик ChatGPT уделяет недостаточно внимания вопросам безопасности.

В 2022 году Амодеи решил не выпускать раннюю версию Claude, опасаясь, что это спровоцирует опасную технологическую гонку. Однако спустя несколько недель OpenAI представила ChatGPT, и Anthropic пришлось догонять конкурента. Амодеи впоследствии заявлял, что не жалеет о принятом решении.