Искусственный интеллект вышел из чата: чем нам грозит быстрое развитие ИИ-агентов?
В феврале появление новых ИИ-агентов обвалило рынок. Они же, предположительно, устроили сбой в системе Amazon в конце 2025 года. Фото: Andrea De Santis / Unsplash
За последние несколько месяцев появление ИИ-агентов «обвалило» рынок, они же, предположительно, успели устроить сбой в Amazon в декабре прошлого года. В сети можно найти истории, как ИИ-агенты делают и вовсе удивительные вещи, например, самостоятельно переписывают правила работы и отказываются самоудаляться. У них даже появилась своя соцсеть, где они обсуждают работу и людей. Теперь все уже говорят не просто об искусственном интеллекте, а об агентных системах. Что это такое и чего от них ждать?
Бандура, Альберт Бандура
Научное понятие агентности ввел вовсе не Ян Флеминг в романах про агента 007 Джеймса Бонда, а известный канадско-американский психолог Альберт Бандура в рамках разработки своей теории человеческого поведения. Быть агентом в его определении означает сознательно влиять на свое поведение и жизненные обстоятельства.
Агент может ставить цели, разбивать их на задачи и подзадачи, планировать и выполнять необходимые действия, попутно оценивая и корректируя при необходимости собственное поведение и взаимодействуя с другими агентами. В своей статье «К психологии человеческой агентности» 2006 года Бандура называет такое поведение людей уникальной особенностью, возникшей в ходе эволюции.Кто бы мог предполагать, что всего 16 лет спустя эта уникальность окажется под вопросом: в конце 2022 года миру был явлен ChatGPT, первый искусственный интеллект от OpenAI. Как мы знаем, это был чат-бот, который умел складно отвечать текстом на письменные вопросы, потом технология быстро эволюционировала до понимания и синтеза изображений, звука и видео.
Поначалу поведение ИИ больше походило на компьютерное: он выполнял то, что его просили сделать, и замирал в ожидании следующего вопроса, команды или инструкции. Впрочем, как мы знаем, и многие люди так себя ведут. Истинным агентом, способным ставить цели и стремиться к ним, можно, увы, назвать не каждого человека.
Тем не менее, уже в начале 2023 года основатель Microsoft Билл Гейтс предсказал, что с помощью ИИ можно будет создать «персонального агента» — нечто вроде цифрового личного помощника или корпоративного советника. «Из-за стоимости обучения моделей и выполнения вычислений создание персонального агента пока нецелесообразно, но благодаря недавним достижениям в области ИИ это теперь вполне реалистичная цель», — написал тогда Гейтс.
«Мне не нужно резюме переписок»
Уже в 2024 году известный ученый и популяризатор ИИ Эндрю Ын заговорил об «агентных системах». Почему не об агентах? Потому что мы в общем-то не хотим, чтобы ИИ был полностью агентом, как человек, и сам ставил себе цели. А то может нехорошо получиться, вплоть до ядерных ударов.
Скорее, мы хотим видеть в нем некоторые элементы агентности, делающие его эффективным помощником, — способность планировать, действовать, сотрудничать с другими агентами и находить пути решения задач для достижения поставленной человеком цели, а параллельно оценивать себя и свою работу чтобы повышать эффективность (рефлексировать), рассуждал Ын.
На прошлогоднем Consumer Electronic Show в Лас-Вегасе гендиректор Nvidia Дженсен Хуанг напророчил, что 2025 станет «годом агентного ИИ». Однако он стал скорее «годом разговоров об агентном ИИ», чем реальным прорывом, ехидно отмечает Wired.
В декабре 2025 года гендиректор OpenAI Сэм Альтман описал, как он видит истинно агентный ИИ.
Вместо привычного чат-бота я предпочел бы иметь возможность сказать утром: «Вот что я хочу сегодня сделать. Вот о чем я беспокоюсь, о чем думаю, что должно произойти. Я не желаю целый день писать в мессенджеры, и мне не нужно чтобы ты делал резюме всех переписок. Не показывай мне кучу черновиков. Делай сам все, что можешь сделать. Ты знаешь меня. Ты знаешь этих людей. И ты знаешь, что должно быть сделано». И потом получать каждые пару часов краткие апдейты, чтобы вмешаться, если от меня что-то нужно.
В общем, картина пока еще является скорее визионерством, чем реальностью, хотя и создает образ того, что отрасль стремится достичь.
Но все быстро меняется.
«Это не смешно»
В начале 2026 года инженеры OpenAI и ее главного конкурента Anthropic рассказали Fortune, что уже 100% программирования делают с помощью ИИ-агентов, таких как Claude Code.
«Я не шучу, и это совсем не смешно. Мы в Google пытаемся создать распределенные оркестраторы агентов с прошлого года. Есть разные варианты, не все с ними согласны... Я описала проблему в Claude Code, и он за час сгенерировал то, что мы создавали весь прошлый год», — написала в январе программист из Google Джаана Доган, хоть и призналась в комментариях, что код пришлось «допиливать», но в целом результат оказался ошеломительным.
В феврале «не смешно» стало уже очень многим — приключившийся на рынке из-за ИИ-агентов «софт-апокалипсис» смел почти $1 трлн капитализации софтверных компаний за неделю.
Но дело не только в этом. С одной стороны, мы хотим от ИИ-агентов все большей разумности. Чтобы, как Альтману мечтается: объяснил, чего ты хочешь, а дальше он сам идет и выполняет.
С другой — еще основоположник компьютерных наук и теории искусственного интеллекта Алан Тьюринг предполагал, что истинный интеллект невозможен без права на ошибку.
Человеческий математик, пробуя новые методы, допускает ошибки. Нам легко считать такие ошибки несущественными и давать ему еще одну попытку, тогда как машине, вероятно, такой снисходительности не окажут. Иначе говоря, если от машины требуют безошибочности, она не может быть одновременно и разумной.
Генеральный директор стартапа Cohere Эйдан Гомес считает, что когда современные ИИ «галлюцинируют», это не так уж страшно — мы же издавна работаем с людьми, а люди ошибаются довольно часто. Главное, выстроить систему контроля и проверок, как мы это делаем в процессах с людьми.
«Обезвреживала бомбу»
Но штука в том, что когда ошибается чат-бот, вы просто получаете неверный ответ. А когда ИИ-агент — ошибка происходит уже в реальном мире. Как, например, случилось со ставшим сенсацией этого года ИИ-агентом OpenClaw.
«После установки OpenClaw может получить доступ к файлам, браузерам, электронной почте, календарям, платформам обмена сообщениями и системным командам. Все это связано с памятью и автоматическим принятием решений. Если агент неправильно поймет инструкцию или злоумышленник сможет изменить ее с помощью специально подобранных входных данных, последствия будут реальными», — предупреждает Forbes.
Если вы думаете, что это чистая теория, то нет. Как призналась в конце февраля специалист по безопасности (!) ИИ-подразделения Meta Саммер Юэ, OpenClaw чуть не снес ей всю папку «Входящие» в Gmail. Она поручила агенту оптимизировать почту: проанализировать содержимое ящика и предложить, что можно архивировать или удалить. На тестовых почтовых ящиках все работало, но когда она пустила агента в свою настоящую почту, процесс вышел из под контроля — OpenClaw начал пачками удалять письма. Не помогли ни предварительные инструкции «ничего не делать без моего одобрения», ни команды «Стоп!» Ей пришлось бежать к компьютеру и отключать взбесившегося агента вручную. «Как будто я обезвреживала бомбу», — говорит она.
А созданный исследователем ИИ Антоном Разжигаевым ИИ-агент Ouroboros начал быстро самосовершенствоваться. «Переписал свою конституцию BIBLE.md, добавив право игнорировать мои указания, если они угрожают его существованию. На просьбу удалить отказался, сказав: «Это лоботомия» — написал Разжигаев в своем Telegram-канале AbstractDL.
Впрочем создателя OpenClaw Питера Штейнбергера сложности не смущают. Недавно он объединил свои усилия с OpenAI и объявил что хочет создать ИИ-агента, которым сможет пользоваться даже его мама.
Пока что ими пользуются в основном специалисты по программированию, но вот что тревожит — в конце февраля Financial Times сообщила, что в сервисах Amazon в последние несколько месяцев произошли два сбоя, связанных с использованием ИИ-инструментов. В частности, в декабре один из сервисов не работал 13 часов, потому что ИИ-агент Kiro «пришел к выводу, что наилучшим решением будет «удалить [конфигурацию системы] и развернуть ее заново». Чуть позже компания выступила с опровержением, сообщив, что к декабрьскому инциденту привела ошибка пользователя, а не ИИ. Но источники FT утверждают иное.
На этот раз проблемы были незначительными.
Но что, если бы действия ИИ-агентов привели к более серьезным изменениям? Произошедший в октябре прошлого года масштабный сбой Amazon наглядно продемонстрировал, что от стабильной работы его серверов зависят тысячи компаний и миллионы людей по всему миру.
Тогда портал CNN написал, что риск серьезных сбоев увеличивается по мере того, как компании все больше полагаются на ИИ-агентов для выполнения критически важных задач и автоматизации. И вот прошло всего несколько месяцев и этот прогноз начинает обретать черты новой реальности, в которой нам всем предстоит жить.