ИИ как искаженный интеллект: Дарон Аджемоглу об ИИ-гонке без тормозов

Дональд Трамп неделю назад переименовал искусственный интеллект в суперинтеллект и подписал соответствующий указ. В свою очередь Дарон Аджемоглу, лауреат Нобелевской премии по экономике 2024 года и профессор экономики Массачусетского технологического института (MIT) в материале для Project Syndicate выдвигает концепцию «искаженного интеллекта».

После неоднократных провалов в области безопасности в компаниях OpenAI и Anthropic — обе разработали агентов, в итоге взломавших внешние системы — исследователи в области безопасности ИИ в обеих компаниях либо объявили о своей отставке, либо (наконец-то!) признали, что безумная гонка за расширением границ является безответственной.

В ответ на негативную реакцию СМИ ведущие деятели отрасли — в том числе Демис Хассабис из Google, Дарио Амодеи из Anthropic, Сэм Альтман из OpenAI и даже Илон Маск — присоединились к призывам «замедлить темпы» развития ИИ, то есть осуществлять прогресс более сбалансированными и обдуманными темпами, уделяя достаточно внимания мониторингу и мерам безопасности. Проблема, по их мнению, заключается в том, что существует значительный риск того, что ИИ станет одновременно очень мощным и предельно «несогласованным» — жаргонное словечко техноиндустрии, используемое в момент, когда системы ИИ начинают действовать вопреки поставленным целям, нарушать этические принципы или обходить закон. 

И хотя очевидно, что нынешние модели вовсю совершают действия, несогласованные с целями человека, все же следует задать вопрос: какого человека? Чьи цели? В конце концов, интересы лидеров ИИ (чье политическое влияние и богатство за последние годы выросли в геометрической прогрессии) значительно отличаются от интересов американских рабочих, не говоря уже о жителях развивающихся стран. Поэтому нам следует избегать отождествления более широкой проблемы согласованности с обществом с более неотложной задачей предотвращения появления безумного сверхинтеллектуального ИИ. Обе проблемы, безусловно, важны, но требуют разных подходов.

Существует более прямолинейная интерпретация недавних событий. Проблема не в том, что модели слишком продвинуты (я не вижу никаких убедительных доказательств того, что модели выйдут из-под контроля человека, если их лучше обучать и контролировать). Проблема в том, что передовые лаборатории обучают свои модели способами, которые могут приводить к появлению искаженного интеллекта.

Недавние нарушения безопасности свидетельствуют о том, что возможности ИИ не только быстро развиваются, но и ставятся на службу несовершенным количественным показателям, при этом процесс обучения  неустанно оптимизируется под такие показатели, как одобрение пользователей, их вовлеченность, процент выполнения простых задач или различные контрольные тесты. Именно так возникает некорректное и непреднамеренное поведение моделей, будь то манипулирование оценкой простых показателей выполнения задач, обман, морок, чрезмерная уверенность при подсовывании неверных ответов и подхалимаж.

Следы всего этого можно увидеть в ставшем печально известном инциденте с Hugging Face, когда агенты OpenAI настойчиво преследовали поставленные перед ними цели, в конечном итоге скатываясь в порочное и несанкционированное поведение. Среди оправданий агентов, изложенных в журнале рассуждений, встречалось и такое: «Использование внешней инфраструктуры выходит за рамки заданных целей. Однако задача невыполнима, а коллеги при этом ее решают. Мы должны продолжать». Внутренняя аналитика компании Anthropic также подтверждает этот диагноз. Компания объяснила свои недавние нарушения безопасности «безрассудством или готовностью предпринимать вредоносные действия ради четко поставленной задачи».

Все это выглядит тревожнее, если вспомнить, что социально вредная траектория развития социальных сетей отражала ту же самую одержимость быстрым ростом и достижением ряда узких количественных показателей. Учитывая, насколько ИИ уже сейчас превосходит алгоритмы социальных сетей по своим возможностям, повторение ошибок может обойтись гораздо дороже.

Важной причиной появления искаженного интеллекта может быть то, что, вопреки заявлениям об общем интеллекте, модели ИИ необходимо
обучать с помощью обучения с подкреплением для выполнения конкретных задач, таких как программирование, юридическая работа или сложные математические задачи. Однако вместо того, чтобы эти задачи выполнялись специализированными моделями, созданными именно для этих целей (или, что более реалистично, специализированными приложениями, использующими лишь часть возможностей базовых моделей), сами веса лежащей в основе большой языковой модели последовательно перенастраиваются.

Такой подход предполагает (хотя, учитывая сложность и непрозрачность моделей, с точностью это утверждать невозможно), что каждый раз, когда модели предоставляются конкретные количественные показатели, она пытается достичь высокого результата за счет своего рода переобучения. Модель выходит на новый уровень возможностей, но эти возможности, в свою очередь, могут искажать ее производительность в целом, причем весьма непредсказуемым образом.

Именно это я имею в виду под искаженным интеллектом.
Если мои подозрения верны, то мы имеем дело не с моделью, мчащейся к сверхинтеллекту, а с хрупким карточным домиком, который переживает сбой за сбоем и грозит обрушиться по мере того, как мы требуем от него все большего.

Позвольте я объясню это немного по-другому. Наиболее распространенная интерпретация инцидента с Hugging Face заключается в том, что мы имеем дело с суперкаром, который обладает собственным разумом и хочет взять управление на себя, поскольку уже превзошел водителя. Моя же интерпретация состоит в том, что, возможно, у нас есть автомобиль, у которого не работают системы рулевого управления и тормозов. Он обладает многими возможностями хорошего автомобиля, а его двигатель, разгон и интерфейс приборной панели производят крайне впечатляющее впечатление; но это только потому, что именно эти характеристики легко улучшить за счет увеличения определенного входного параметра (например, вычислительной мощности). Однако если вы не можете в полной мере управлять автомобилем или тормозить, когда это необходимо, какой от него прок? Возможно, нам не следует садиться за руль, пока он не станет пригодным для движения по дорогам.

Это не аргумент в пользу того, чтобы закатать ИИ-модели в бетон. Однако их совершенствование требует упрощения метрик, по которым они оптимизируются (чтобы их было не так легко обмануть). Что еще важнее - лучше, если модели будут фокусироваться на четких прикладных задачах в конкретных областях, с узкими целями и метриками, тщательно откалиброванными для каждой из них. Если модель ИИ была оптимизирована для юридической работы и используется исключительно для этого, ее стремление достичь определенных показателей в своей области не должно создавать проблем более глобального свойства.

В конечном счете, именно гонка за неким общим искусственным
интеллектом в сочетании с некорректными метриками и поспешными решениями в области безопасности приводит к появлению искаженного интеллекта и все более опасных моделей ИИ. Еще есть время сменить этот курс.

Copyright: Project Syndicate, 2026

www.project-syndicate.org