«Игры на истощение» или удобные помощники: как должны развиваться ИИ-агенты

ИИ-агенты приближаются, готовы мы к этому или нет. Остается много неопределенности относительно того, когда модели ИИ смогут автономно взаимодействовать с цифровыми платформами, другими ИИ-инструментами и даже людьми, но сомнений в том, что это развитие будет трансформирующим — в лучшую или худшую сторону — практически нет. Однако, несмотря на многочисленные комментарии (и шумиху) вокруг ИИ-агентов, многие важные вопросы остаются без ответа. Самый главный из них — какой именно тип ИИ-агента стремится разработать технологическая индустрия. Почему ответ на этот вопрос важен, объясняет в колонке для Project Syndicate лауреат Нобелевской премии по экономике 2024 года Дарон Аджемоглу.

Разные модели приведут к совершенно разным последствиям. ИИ-помощник будет предлагать индивидуально адаптированные советы для человека, принимающего решения. Таким образом у руля всегда будут оставаться люди. В модели «автономного ИИ» агенты будут принимать решения вместо людей. Это различие имеет глубочайшие и далеко идущие последствия.

Люди ежедневно принимают сотни решений, некоторые оказывают значительное влияние на их карьеру, благосостояние или счастье. Многие из этих решений основываются на неполной или недостоверной информации, больше определяются эмоциями, интуицией, инстинктами или импульсами. Как когда-то выразился философ Дэвид Юм: «Разум есть и должен быть лишь рабом аффектов». Люди принимают большинство решений без систематического анализа или должного учета всех последствий. Но, как признал Юм, добавив «должен быть» в своем утверждении, — это не так уж плохо. Именно это делает нас людьми. Страсть отражает цель, и она также может играть ключевую роль в том, как мы справляемся со сложным миром.

ИИ-помощники, предоставляющие надежную, актуальную и полезную информацию, могут улучшить процесс принятия многих важных решений, но человеческие мотивы останутся доминирующими. Однако что плохого в том, что автономные ИИ принимали бы решения за нас? Разве они не смогут улучшить процесс принятия решений, сэкономить время и предотвратить ошибки?

С этой точкой зрения есть несколько проблем. Во-первых, человеческая агентность критически важна для обучения и процветания человека. Сам акт принятия решений и размышлений о возможных исходах, даже если исходные данные и советы поступают от «нечеловеческих» агентов, утверждает наше чувство контроля и цели. Многое из того, что делают люди, не сводится к вычислениям или сбору информации для принятия оптимального решения. Скорее, это процесс познания — опыта, который станет все реже встречаться, если все решения будут переданы ИИ-агенту.

Более того, если технологическая индустрия сосредоточится в основном на автономных ИИ-агентах, вероятность автоматизации большего числа человеческих рабочих мест существенно возрастет. Если ИИ станет прежде всего средством ускорения автоматизации, надежды на всеобщее процветание будут разрушены.

Самое главное — существует фундаментальное различие между ИИ-агентами, действующими от имени людей, и людьми, действующими самостоятельно. Многие ситуации, в которых взаимодействуют люди, включают элементы и сотрудничества, и конфликта. Рассмотрим пример компании, поставляющей сырье другой компании. Если это сырье достаточно ценно для покупателя, торговая сделка между ними будет взаимовыгодной (и, как правило, также принесет пользу обществу).

Однако для совершения сделки необходимо определить цену сырья, что является по своей сути конфликтным процессом. Чем выше цена, тем больше выгода продавца. Итог таких переговоров часто определяется сочетанием норм (например, представлений о справедливости), институтов (таких как контракты, налагающие санкции за их нарушение) и рыночных сил (например, наличия у продавца альтернативных покупателей). Теперь представьте, что покупатель известен своей бескомпромиссностью: он отказывается принимать что-либо, кроме самой низкой возможной цены. Если у продавца нет других покупателей, ему, возможно, придется согласиться на такое предложение.

К счастью, в повседневных сделках такая жесткая позиция встречается редко, частично потому, что испортить репутацию невыгодно, а главное — потому что большинству людей не хватает ни решимости, ни желания действовать столь агрессивно. Но теперь представьте, что у покупателя есть автономный ИИ-агент, которому безразличны человеческие условности и который обладает нечеловеческим хладнокровием. ИИ можно обучить всегда придерживаться этой бескомпромиссной позиции, и у другой стороны не останется никакой надежды убедить его пойти на более взаимовыгодный исход. Напротив, в мире, где ИИ выполняет лишь роль помощника, модель может по-прежнему рекомендовать жесткую позицию, но окончательное решение останется за человеком.

В краткосрочной перспективе автономные ИИ-агенты могут привести к еще большему неравенству в мире, где только некоторые компании или отдельные лица получат доступ к мощным и непреклонным ИИ-моделям. А если все получат такие инструменты, это будет ничуть не лучше. Все общество окажется втянутым в «игры на истощение», в которых ИИ-агенты будут доводить каждый конфликт до предела.

Такие противостояния по своей природе рискованны. Как и в игре «в цыпленка» (пример из теории игр, который описывает ситуацию с двухсторонним риском),  когда два автомобиля разгоняются навстречу друг другу, чтобы проверить, кто свернет первым. Всегда существует вероятность, что ни одна из сторон не уступит. В таком случае оба водителя «побеждают» — и оба погибают.

ИИ, обученный побеждать в такой игре, никогда не свернет. Хотя он может быть хорошим помощником для людей, предоставляя полезную, надежную и актуальную информацию в режиме реального времени, мир автономных ИИ-агентов, скорее всего, принесет множество новых проблем, разрушив многие потенциальные выгоды этой технологии.

Copyright: Project Syndicate, 2025.

www.project-syndicate.org