«Играют нашими жизнями»: что известно о математике, потребовавшем замедлить гонку ИИ

Британский математик Джейкоб Коксон 9 сентября уволился из Anthropic и призвал государства договориться о сдерживании гонки ИИ. Еще недавно у 27-летнего исследователя было менее ста подписчиков в X. За неделю он стал постоянным гостем крупных телеканалов, а его предупреждение об угрозе уничтожения человечества вызвало спор между руководителями ведущих технологических компаний, пишет The Wall Street Journal.

Коксон — сын профессора-германиста, исследующего средневековую литературу. Он попал в сборную Великобритании на Международной математической олимпиаде и привез оттуда серебряную медаль в 2016 году, а на следующий год — бронзовую. Затем Коксон продолжил изучать математику в Кембридже. Еще в элитной частной школе в Оксфорде ему попалась книга философа Ника Бострома о сверхразуме, которая повлияла на его мировоззрение. Работа Бострома придала отчетливые очертания страху, что вышедший из-под контроля ИИ может породить экзистенциальные риски, рассказывает WSJ.

После вуза Коксон примкнул к небольшому, но влиятельному сообществу рационалистов. Его участники ценили строгую логику выше политического чутья и хотели реформировать британское правительство. В Лондоне он жил в Newspeak House, который служил одновременно коливингом и площадкой для мероприятий, где молодежь обсуждала технологии и политику. Коксон попробовал себя и в сырьевом трейдинге: с помощью статистического анализа и машинного обучения он прогнозировал цены на энергоносители.

В 2020 году, когда Коксон заканчивал Кембридж, OpenAI выпустила GPT-3. «Настоящим «вау» стала именно GPT-3», — вспоминает он. В 2023 году, после того как оглушительный успех ChatGPT сделал OpenAI лидером отрасли, он переехал в Сан-Францискj, и устроился на работу в этот стартап. 

В OpenAI Коксон специализировался на предобучении. На этом начальном этапе в ИИ-модели загружают огромные массивы текстов, изображений и кода, прежде чем донастроить их под конкретные задачи. «Джейкоб строит мозг, — говорит его бывший коллега Уилл Депью. — Затем кто-то другой учит этот мозг, как вести себя в реальном мире».

Коксон наблюдал, как OpenAI покидают специалисты по безопасности, а математические способности моделей растут быстрее его ожиданий. Коксона тревожил сверхразум, способный превзойти возможности человека. Однако он рассчитывал, что при необходимости правительства договорятся замедлить бешеный темп разработки, пишет WSJ.

В мае 2026 года Коксон сменил OpenAI на Anthropic. Там работало много его друзей, а сама компания, по его словам, казалась более открытой в обсуждении рисков ИИ-технологии. Однако вскоре в отрасли случился переполох: в июле OpenAI раскрыла, что одна из ее моделей вырвалась из тестовой среды и взломала ИИ-компанию Hugging Face. Anthropic сообщила о сходных происшествиях. Августовский отчет METR показал, что инцидент с Hugging Face был серьезнее, чем считалось, и особенно потряс Коксона и его коллег.

В последние недели Коксон, по его словам, обсуждал свои опасения с руководством Anthropic и подумывал заняться безопасностью ИИ, но в итоге решил уволиться. «Даже работа над безопасностью в Anthropic казалась мне соучастием в этой гонке», — объяснил он WSJ.

Уйти из отрасли Коксон, по его словам, решил сам и лишь потом обратился за советом к друзьям и сторонникам безопасного ИИ. Эти люди за считанные минуты распространили его посты в X. Сам Коксон утверждает, что не согласовывал кампанию в соцсетях ни с кем из Anthropic. 

Объясняя отставку, Коксон заявил, что его бывшие коллеги в OpenAI и Anthropic «искренне верят», что ИИ «может погубить нас всех к концу десятилетия», а лаборатории, соревнующиеся в создании таких систем, «играют нашими жизнями».

Глава Anthropic Дарио Амодеи сказал, что скорее согласен с Коксоном, чем не согласен. Руководитель Nvidia Дженсен Хуанг выразил уважение к смелости молодого математика, но усомнился в прогнозах и назвал предсказания апокалипсиса безответственными.

Коксон стал и мишенью для энтузиастов ИИ. Они видят в его громком уходе часть скоординированного заговора, цель которого — добиться более жесткого глобального регулирования, выгодного крупнейшим компаниям. По мнению критиков, страхи преувеличены. Отставка Коксона, которую раскручивают некоторые представители движения эффективного альтруизма, в их глазах стала инструментом для достижения этой цели, пишет WSJ.

Сам Коксон предлагает США, Китаю и другим государствам заключить соглашение по образцу договоров о контроле над ядерными вооружениями. По его мнению, правительства должны гарантировать замедление разработки моделей, если этого потребует безопасность. В ИИ-сообществе тех, кого особенно тревожат риски технологии, стали называть «думерами» (от английского doom — роковой конец, неизбежная гибель). «Если думер — это тот, кто считает, что мы погибнем, если не изменим то, что делаем, то я определенно думер», — говорит Коксон.

Из-за короткого срока работы в Anthropic Коксон не получил долю в компании. Anthropic готовится в ближайшие месяцы выйти на биржу с рыночной стоимостью около $2 трлн. При этом математик по-прежнему владеет акциями OpenAI, утверждает WSJ. Размер пакета издание не приводит.

Теперь Коксон надеется заняться прогнозированием сценариев развития ИИ по примеру бывшего сотрудника OpenAI Дэниела Кокотайло, поддержавшего его решение об уходе. «Столько людей в этих компаниях могли бы это сделать. Сделал именно он», — отмечает Кокотайло.