Слабое звено: станет ли ИИ общего назначения последним изобретением человечества?

По мере развития ИИ становится актуальным вопрос, который много лет назад задал математик Ирвин Джон Гуд: станет ли изобретение сверхразумной машины «последним изобретением человечества». ИИ общего назначения, над которым работают крупнейшие компании, можно будет приравнять к такой машине. Но сможет ли ИИ создавать по-настоящему новое без участия человека? На этот вопрос в материале для Project Syndicate отвечает Карл Бенедикт Фрей из Оксфордского института интернета.

В середине 1960-х годов математик и криптограф Блетчли-парка Ирвин Джон Гуд предложил мысленный эксперимент, который с тех пор стал своего рода светским «евангелием» Кремниевой долины. Он утверждал, что если создать сверхразумную машину, она сможет проектировать еще более совершенные машины, вызывая бурный рост интеллектуальных возможностей, который оставит человеческое мышление далеко позади. В итоге первая такая машина станет «последним изобретением, которое человечество когда-либо должно будет создать».

Сегодня это пророчество, когда-то казавшееся научной фантастикой, стало основной целью самых могущественных институтов мира. Например, Демис Хассабис из Google DeepMind говорит о необходимости «разрешения проблемы интеллекта», чтобы «решить все остальное». Звучит заманчиво. Но даже если допустить, гипотетически, что будущие системы смогут учиться, экспериментировать и создавать по-настоящему новые решения гораздо лучше современных моделей, тезис о «последнем изобретении» все равно опирается на ряд спорных предположений.

Первое — это представление, что инновации напоминают стремительный рывок от идеи к результату, происходящий без каких-либо препятствий.

На деле это не так. Процесс открытий скорее напоминает цепь, прочность которой определяется ее самым слабым звеном.

Эти слабые звенья определяют большую часть человеческого прогресса. В 1986 году шаттл «Челленджер» разрушился через 73 секунды после старта не из-за отказа первоклассных двигателей или программного обеспечения, а потому что маленькое резиновое уплотнение не выдержало низких температур, как блестяще показал нобелевский физик Ричард Фейнман на слушаниях по катастрофе. Это уплотнительное кольцо (O-ring) стало метафорой критических узких мест, которые могут разрушить даже самые сложные системы.

Процесс открытий работает так же. ИИ общего назначения (AGI) — модель, способная выполнять любые когнитивные задачи — может значительно ускорить начальные этапы медицинских исследований. Но если он не сможет управлять клиническими испытаниями, наладить массовое производство или получить одобрение регуляторов, «прорыв» никогда не станет изобретением, улучшающим жизнь. Когда начальные этапы автоматизируются, роль человека не исчезает. Она просто перемещается к оставшимся узким местам, где важны суждения, скрытые знания и практический опыт.

Эта сложность указывает на еще одну: AGI должен не просто превосходить человека, но и превосходить человека, использующего AGI. Чтобы история о «последнем изобретении» сработала, люди должны стать ненужными даже как партнеры или руководители ИИ.

Но интеллект — это не количественное понятие: «больше» не заменяет «меньше». Даже очень способный AGI может быть качественно отличным от человека: он может быть исключителен в скорости и распознавании закономерностей, но уязвим в редких случаях. Разные сильные стороны подразумевают наличие разных «слепых зон», и пока они не пересекаются, комбинация человеческого и машинного суждения продолжает превосходить возможности каждого по отдельности.

Игра в го служит полезным примером. После того как AlphaGo от Google DeepMind обыграл Ли Седоля 4-1 в 2016 году, казалось, что превосходство ИИ над человеком установлено. Но в 2023 году исследователи показали, что если вывести ИИ за пределы его обучения, любитель с минимальными вычислительными навыками сможет стабильно обыгрывать лучшие программы. Кажущееся превосходство может скрывать системные слабости, и именно там человеческий вклад наиболее ценен.

Третья проблема связана с самим знанием. Тезис о «последнем изобретении» предполагает, что вся релевантная информация может быть кодирована, но на практике так бывает редко. Немногие изобретения изменили мир так сильно, как Ford Model T, который сделал автомобиль массовым продуктом. Но достижение Генри Форда заключалось не только в новом дизайне. Еще важнее был его подход к организации производства.

Именно поэтому делегации из Италии, Германии, Советского Союза и других стран ездили изучать заводы Форда лично. Ключевые знания невозможно было извлечь из чертежей. Они были встроены в рутинные процессы, последовательность операций, оборудование и повседневное решение проблем на производстве. Аналогично система бережливого производства Toyota была трудна для копирования, потому что знания были встроены в человеческие привычки и культуру, а не в схемы.

Более высокий интеллект автоматически не решает «проблему знания» — факт, что сложные системы работают благодаря распределенной, локальной, часто неозвученной информации. Если бы знания можно было легко переносить, отрасли не концентрировались бы в таких местах, как Силиконовая долина или Лондонский Сити.

Энтузиасты ИИ могут возразить: «Хорошо, поставим датчики, камеры и микрофоны повсюду, и мы закодируем недостающие знания». Но эта стратегия предполагает, что люди будут открыто делиться своим опытом, и игнорирует политику и закон. Запись всего и везде противоречила бы Общему регламенту ЕС по защите данных — образцу для законодательства о конфиденциальности во всем мире.

Более того, закон ЕС об ИИ не разрешает использовать системы масштабного наблюдения, необходимые для сбора человеческих знаний в большом объеме. Даже если бы разрешал, нельзя считать, что все знания и опыт человека легко оцифровываются.

В конечном счете, AGI может автоматизировать интеллект. Но процесс изобретения требует чего-то большего. Часто трудность заключается не в придумывании решения, а в реализации его на практике. Необходимы локальные знания, проверенные процедуры, цепочки поставок и институциональные возможности, чтобы что-то работало стабильно в реальном мире. Увеличение интеллектуальных возможностей не приводит автоматически к появлению все этого.

AGI изменит процесс открытий, сделав экспертизу дешевле, а эксперименты — быстрее. Но утверждать, что это «последнее изобретение человечества», слишком смело. Для этого потребовалось бы, чтобы практические знания полностью передавались через цифровые каналы, а ответственность была автоматизирована вместе с познанием. Мы же живем в другом мире.

По мере того, как интеллектуальные ресурсы становятся дешевле, ценность активов будет меняться. Преимущество получат те, кто способен обеспечить результат. Люди не становятся лишними. Они становятся самыми значимыми «узкими местами» в мире.

Copyright: Project Syndicate, 2026.

www.project-syndicate.org