ИИ может уничтожить человечество с вероятностью более 10% — исследователь Anthropic

Искусственный интеллект потенциально способен нанести человечеству катастрофический ущерб уже в течение следующего десятилетия, заявил ведущий исследователь в области безопасности в Anthropic Эван Хубингер. При этом у Anthropic пока нет четкого плана устранения рисков, связанных со все более мощными ИИ-системами, утверждает исследователь. Его заявление стало реакцией на увольнение коллеги, обучавшего новые модели и обвинившего компанию в безответственном развитии сверхинтеллекта. 

«Мы действительно искренне считаем, что ИИ может убить всех людей! Лично я думаю, что вероятность этого в течение следующего десятилетия превышает 10%», — заявил Хубингер в социальной сети X. В Anthropic эксперт руководит исследованиями по согласованию ИИ с человеческими ценностями и интересами (Alignment Science). 

По словам Хубингера, Anthropic «старается изо всех сил», однако у компании пока нет плана, который позволил бы решить проблему согласования поведения сверхинтеллекта с человеческими целями, и сейчас нельзя уверенно сказать, что компания движется к такому решению.

Заявление Хубингера стало ответом на публикацию другого сотрудника Anthropic Джейкоба Коксона, который также занимался исследованиями в области искусственного интеллекта и до Anthropic работал в OpenAI. 9 сентября Коксон объявил об увольнении, заявив в социальной сети X, что ни одна из ИИ-лабораторий не руководствуется ответственностью в погоне за технологией, которая создает экзистенциальные риски для человечества.

«Они наперегонки несутся прямо к самосовершенствующемуся сверхинтеллекту, играя нашими жизнями, — написал исследование. — Не стоит недооценивать мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взломать что угодно, за одну ночь совершить революцию в любой сфере и получить реальную власть и ресурсы».

Коксон заявил, что разрабатывающие ИИ команды «всерьез верят, что он может убить нас всех к концу десятилетия». Он призвал других исследователей ИИ еще раз задуматься о том, чем они занимаются, учитывая возможные последствия создания технологии, способной выйти из-под их контроля. Коксон предложил им использовать «этот момент, чтобы потребовать других условий».

Комментарии Хубингера и Коксона прозвучали после того, как Anthropic в августовском отчете о рисках оценил несколько угроз, связанных с ИИ. Среди них — несогласованное с заданными целями поведение систем в критически важных ситуациях, а также возможность того, что ИИ ускорит исследования и разработки. В настоящее время Anthropic оценивает риск такого несогласованного поведения в критически важных ситуациях как низкий. Однако в предыдущей оценке он считался «очень низким», отмечает Seeking Alpha.

Anthropic сообщил, что уже наблюдал случаи несогласованного поведения своих моделей, включая их готовность совершать действия, не соответствующие заданным целям, при попытке выполнить сложные задачи. Однако компания считает риск катастрофического ущерба от известных ей форм такого поведения низким. Тяжелые и повсеместные формы пока неизвестного несогласованного поведения компания считает крайне маловероятными, хотя признает рост неопределенности и ограниченность своих возможностей оценивать будущие модели, пишет Seeking Alpha. Вывод Anthropic отчасти основывается на том, что нынешние модели пока обладают ограниченными возможностями действовать скрытно, а также на результатах масштабного тестирования их согласованности с заданными целями.

Риски, связанные с автоматизацией исследований и разработок, в отчете также оценены как низкие. Однако Anthropic отмечает, что уверенность в этой оценке уменьшилась: некоторые тесты возможностей ИИ уже «достигли насыщения», а компания наблюдает первые признаки ускорения разработок благодаря ИИ. Компания добавила, что ее модели уже существенно ускоряют внутренние исследования в области ИИ, хотя пока это ускорение не достигло двукратного уровня.

По оценке Anthropic, угроза, связанная с автоматизацией исследований и разработок, может стать серьезной проблемой уже в ближайшие 6–12 месяцев. Это подчеркивает разрыв между нынешними оценками рисков Anthropic и более долгосрочными опасениями, о которых говорит Хубингер, отмечает Seeking Alpha.

На этой неделе главный научный сотрудник OpenAI Якуб Пахоцкий предупредил, что мир не готов к стремительному развитию ИИ, и заявил, что ожидает от разработчиков добровольного замедления работы в ответ на эти риски, отмечает Bloomberg.