Как невидимые войны роботов меняют интернет

Революция ИИ стремительно меняет многие отрасли экономики, включая сам интернет, в котором она возникла и без которого была бы, вероятно, невозможна. В последнее время стали популярны статьи о том, что интернет, по крайней мере, в таком виде, как мы его знали, «умирает» или даже уже «умер». Сильные утверждения хороши для заголовков, но я бы скорее сказал, что интернет под влиянием ИИ переизобретает сам себя, и этот процесс таит в себе как опасности, так и новые возможности.

Разговоры о «смерти интернета» отнюдь не новы. «Мертвый интернет» — это довольно популярная теория заговора, которая циркулировала на форумах 4Chan (предвестник движения QAnon)  с 2010-х годов. Новый импульс она получила еще до ИИ-революции, в 2021 году, когда пользователь IlluminatiPirate опубликовал об этом длинный пост на форуме Agoraroad. Суть теории в том, что подавляющее большинство интернет-трафика, сообщений и пользователей были заменены ботами и контентом, созданным искусственным интеллектом — мы фактически больше не общаемся с живыми людьми, а видим в основном сгенерированный контент, созданный корпорациями и тайными инфлюэнсерами для продвижения товаров и идей,  объясняет Forbes. Разумеется, появление в 2022 году ChatGPT, ознаменовавшее начало современной ИИ-революции, только укрепило сторонников этой теории в их подозрениях. В 2024 году в сети X появился пост, сравнивающий звучание казахского языка со «звуком дизельного двигателя, пытающегося запуститься зимой». Вот только видео  было загружено без звука, что не помешало посту стать популярным и получить десятки тысяч лайков и тысячи перепостов, пишет Forbes. Пользователи X решили, что это работа ботов, породив новую волну обсуждений теории «мертвого интернета».

На самом деле интернет жив, утешает нас журнал. Большинство постов и комментариев, которые становятся вирусными, — нестандартные, остроумные, парадоксальные — не могут быть созданы генеративным ИИ: их пишут люди (от себя добавлю — это пока, а потом, как знать).

Однако, как и во всякой живучей теории заговора, в теории «мертвого интернета» есть и доля правды. «Современный интернет гораздо более бесплоден, чем дикий и непредсказуемый интернет прошлого, поскольку разнообразная экосистема небольших сайтов, созданных пользователями, была заменена горсткой огромных платформ, созданных крупными корпорациями, которые стремятся монетизировать наши просмотры и обмен информацией, часто в ущерб пользовательскому опыту», — резюмирует Forbes.

В 2025 году проблема, похоже, только обострилась. 

Так автор колонки в Vice Эван Робертсон охарактеризовал запущенные в мае прошлого года  «ИИ-обзоры» от Google. Теперь главный мировой поисковик вместо знаменитых «10 синих ссылок» в ответ на некоторые вопросы выдает краткий ответ по теме, сгенерированный его искусственным интеллектом Gemini под лозунгом «Позвольте Google искать за вас». Не то чтобы эти обзоры были так уж плохи, как пишет Эван (хотя порой они и правда базируются на данных из Википедии). Спустя год после их запуска все яснее вырисовывается другая проблема: поскольку обзор появляется в самом верху поисковой страницы, многие пользователи, судя по всему, довольствуются этим ответом и не идут дальше по ссылкам. Таким образом, те сайты, с которых ИИ взял информацию, лишаются человеческого трафика, а следовательно, и возможности монетизировать его через рекламу. Попросту говоря, ИИ забирает у сайтов и контент, и аудиторию, и деньги — не давая взамен ничего.

В Великобритании группа по технологическому правосудию Foxglove, Альянс независимых издателей и Движение за открытый Интернет уже подали жалобу на обзоры Google в Управление по конкуренции и рынкам. Они утверждают, что сайт, ранее занимавший первое место в результатах поиска, может потерять 79% своего трафика по этому запросу, если результаты будут выдаваться после обзора ИИ, пишет The Guardian. Представитель Google в ответ заявил, что эти данные «неточны и основаны на ошибочных предположениях и анализе».

Однако сложности издателей одним лишь Google  не ограничиваются. Приходивший раньше через поиск трафик забирают себе и другие компании, такие как ИИ-поисковик Perplexity и, в особенности, стремительно растущий ChatGPT. По данным исследования, опубликованного известным аналитиком и технологическим инвестором Мэри Микер, у последнего уже 800 млн пользователей, и он обслуживает 365 млрд поисковых запросов в год. Это пока на порядок меньше, чем у Google (около 5 трлн запросов в год), но ChatGPT достиг такого результата всего за два года, в то время как Google в свое время понадобилось на это 11 лет. То есть ChatGPT растет в 5,5 раз быстрее, пишет Микер. По оценкам Similarweb, отслеживающего трафик более 100 млн веб-доменов, мировой поисковый трафик (со стороны пользователей) снизился примерно на 15% за 12 месяцев, закончившихся в июне 2025. Особенно сильно пострадали сайты, посвященные здравоохранению: у них падение составило 31%, пишет The Economist в статье с красноречивым заголовком «ИИ убивает интернет».

«Природа интернета полностью изменилась. Искусственный интеллект фактически перекрывает трафик на большинстве сайтов с контентом», — цитирует журнал Прашанта Чандрасекара, генерального директора Stack Overflow —  известного онлайн-форума для программистов. Он тоже испытал сильное падение трафика.

Крупные медиакомпании отбиваются, заключая с провайдерами ИИ-поиска соглашения о лицензионном использовании контента, либо подавая против них судебные иски, как News Corp. (ей принадлежат New York Post и The Wall Street Journal). Корпорация договорилась с разработчиком ChatGPT OpenAI, а сейчас судится с Perplexity. Однако, что делать миллионам более мелких сайтов, которые, собственно, и есть интернет? У  них нет ресурсов на суды, а как партнеры они ИИ-провайдерам неинтересны. Тогда в сети начинается другая борьба.

На самом деле, сторонники теории «мертвого интернета» ловили ботов не там, где действительно их царство. Уже сейчас около половины интернет-трафика это не люди, а специальные роботы-краулеры, которые ищут на сайтах самую разнообразную информацию. В первую очередь — это краулеры поисковых систем, которые сканируют сайты для более релевантной выдачи поиска. Amazon, например, мониторит торговые предложения, чтобы предлагать адекватные цены, а агрегатор путешествий Kayak с их помощью строит для вас маршруты. Кроме того, краулерами пользуются для сбора нужной информации различные общественные и научные организации, фирмы по кибербезопасности, архиваторы интернета и многие другие полезные приложения, пишет MIT Technology Review. До недавнего времени сайты относились к краулерам толерантно, потому что те «в обмен» на информацию возвращали на сайты трафик через публикуемые на других сайтах реферальные ссылки. Все вместе это образовывало некую экосистему, которая более-менее успешно работала и благодаря краулерам объединяла интернет в нечто единое целое. 

Теперь же в сети появились жадные до информации краулеры ИИ-систем, которые высасывают данные для обучения ИИ и для ИИ-поиска, который, как уже обсуждалось выше, не приводит на сайт посетителей. Сайты пытаются с этим бороться, воспрещая в условиях использования сбор информации без разрешения и прописывая запреты для краулеров в специальном файле robot.txt. Однако эти ограничения достаточно просто проигнорировать или обойти, отмечает MIT Technology Review. Один из вопиющих случаев стал достоянием гласности в прошлом году: краулер Claude — ИИ от компании Anthropic — посетил страницы сайта FixIT более миллиона раз за одни только сутки. Сайт аккумулирует пользовательские инструкции и рекомендации по ремонту огромного количества различной техники и содержит в себе миллионы страниц. 

«Привет, Anthropic. Я понимаю, вы жаждете данных — Claude действительно умный! Но вам обязательно стучаться к нам на сервер миллион раз за сутки? Вы не просто используете наш контент бесплатно — вы ещё и перегружаете наши ресурсы. Так не пойдёт», — написал в сети Х возмущенный гендиректор FixIT Кайл Вайнс.

В результате крупные веб-издатели, форумы и сайты часто поднимают «разводной мост» для всех краулеров — даже тех, которые не представляют угрозы. Интернет рискует перестать быть единым пространством, развалившись на несколько «царств», которыми владеют крупные медиакомпании и заключившие с ними договора разработчики ИИ. Обычному пользователю станет все труднее перемещаться по сети, не натыкаясь на бесконечные требования авторизации, подписки или капчи. Нужны новые правила игры.

«Если мы не сможем создать экосистему с разными правилами для разных видов использования данных, мы можем столкнуться с строгими границами в интернете, что потребует жертв в плане открытости и прозрачности», — довольно мрачно резюмирует MIT Technology Review.

Впрочем, как известно, там где есть проблема обязательно появится и стартап для ее решения и, как правило, не один.

В июле один из крупнейших провайдеров инфраструктуры для интернета — Cloudflare — представил свой вариант решения : специальный инструмент, который позволит владельцам сайтов взимать с краулеров (точнее, с их хозяев) плату за сканирование контента. Автоматическую обработку запросов от ботов, оплату и распределение денег между издателями Cloudflare берет на себя. Пока функция находится на стадии закрытого бета-тестирования, но в компании видят много путей для развития этого механизма, например определение разной цены для разного контента или ее регулирование в зависимости от «спроса» ботов на конкретную информацию. По мере развития ИИ-агентов —  относительно независимых систем, выполняющих задачи по поручению человека — может быть включен и другой механизм. «Представьте, что вы просите свою любимую исследовательскую программу помочь вам синтезировать данные о последних исследованиях в области рака, составить юридическое заключение или просто найти лучший ресторан в Сохо, а затем предоставляете этому агенту бюджет, который он может потратить на приобретение лучшего и наиболее релевантного контента», — пишет компания в своем блоге.

Одновременно компания предлагает и инструмент »наказания» для плохих ботов, не желающих работать по правилам сайта: специальный сгенерированный «ИИ-лабиринт», в котором краулер будет бесконечно блуждать, тратя ресурсы своего «хозяина» и не получая при этом никакой полезной информации.

«Мы должны установить правила игры, мир, где люди получают контент бесплатно, а боты платят за него огромные деньги», — цитирует владельца Cloudflare Мэтью Принса The Economist.

Похожее решение предлагает и стартап Tollbit, основанный Оливией Джослин и Тошитом Паниграхи. Он уже получил более $30 млн венчурного финансирования в прошлом году. Разработка позволяет сайтам с контентом устанавливать для ИИ-ботов различные тарифы. Например, журнал может взимать больше за новые статьи, чем за старые. В первом квартале этого года Tollbit обработал 15 миллионов таких микротранзакций для 2000 производителей контента, включая Associated Press и Newsweek, сообщает The Economist.

Стартап Билла Гросса ProRata предлагает несколько иной подход. Он разработал собственный ИИ-поисковик — Gist Search. Тот не просто генерирует ответ, но и автоматически определяет, сколько процентов этого ответа с какого сайта пришло. Рядом с ответами планируется размещать рекламу, доходы от которой будут делиться пропорционально вкладу каждого сайта. На этом основании он провозглашает себя «единственным этичным ИИ-поисковиком». Можете сами попробовать. На запрос «лучшие кроссовки» он предложил мне несколько вариантов, в конце порекламировал New Balance с честной пометкой sponsored. А также показал расклад в процентах — сколько информации с какого сайта было взято для обзора. Кто знает, может, будущее интернета выглядит так. По крайней мере, некоторые в это верят. По данным Financial Times, британская медиагруппа DMG Media в конце прошлого года приобрела долю в ProRata исходя из общей оценки стартапа $130 млн.