«Мы можем потерять контроль над будущим»: Альтман назвал два опасных сценария для ИИ

Глава OpenAI Сэм Альтман озвучил «два сценария, при которых развитие ИИ может пойти очень плохо и которых нужно избежать». В постах в соцсети X он предупредил о необходимости замедления развития возможностей ИИ и обеспечения безопасности этой технологии — призыв, который на прошлой неделе озвучил сооснователь Anthropic Дарио Амодеи и поддержали другие лидеры индустрии.

Во-первых, пишет Альтман, «мы можем потерять контроль над будущим, передав его ИИ». Нужны способы гарантировать, что методы обеспечения соответствия ИИ целям и безопасности человечества будут развиваться быстрее, чем возможности самих моделей, объясняет глава OpenAI.

Во-вторых, продолжает он, «мы можем оказаться в мире, где слишком много власти сосредоточено в одних руках». Если чрезвычайно мощный ИИ окажется в распоряжении одного человека, компании или страны и будет использоваться для навязывания всем остальным их представлений о мире, последствия могут оказаться крайне антиутопичными, говорится в посте. 

Отдельно Альтман отметил, что «никакое конкурентное давление на США не должно оправдывать безрассудство». Президент Дональд Трамп минувшей ночью призвал не тормозить развитие ИИ и сохранить премиущество страны над Китаем в ИИ-гонке.

Чтобы избежать этих двух угроз, необходимо найти тонкий баланс, написал Альтман. Он выступил за введение единых федеральных требований к безопасности передовых ИИ-систем, но подчеркнул, что компании могут начать действовать самостоятельно, не дожидаясь нового законодательства. В частности, глава OpenAI поддержал разработку общих правил управления рисками и независимый аудит — ранее идею об отраслевых стандартах и доступе внешних экспертов высказал Амодеи.

По словам Альтмана, прежние механизмы безопасности были ориентированы в первую очередь на уже готовые модели, тогда как теперь больший контроль необходим в процессе их разработки. В OpenAI, например, теперь заранее готовят обоснования безопасности перед этапами обучения, если ожидается, что возможности передовых моделей будут существенно расширены. Альтман призвал другие компании делиться своими подходами и рассчитывает, что совместная работа ИИ-лабораторий позволит выработать единые стандарты мониторинга и предотвращения рассогласования ИИ с человеческими целями.

При этом под «сдерживанием темпов» глава OpenAI не подразумевает «остановку»: прогресс продолжится, но должен идти медленнее, чем мог бы в отсутствие дополнительных мер. Они требуют значительных затрат, признал Альтман, но издержки, по его мнению, оправданы.

ИИ-гигантам придется соотнести свои призывы о замедлении с противодействующими силами в технологической отрасли, на финансовых рынках и в администрации Трампа, считает Bloomberg.

Реакция рынка проявилась уже в понедельник: акции ключевых для ИИ-инфраструктуры Samsung Electronics и SK Hynix подешевели в Сеуле более чем на 4%, а бумаги инвестора OpenAI SoftBank Group — на 13%.

В Кремниевой долине дискуссия о замедлении может ударить по производителям чипов, которые выигрывают от роста расходов на процессоры для обучения и работы новых моделей, пишет Bloomberg. Котировки Nvidia на премаркете упали на 2,9%, акции Intel рухнули на 5,8%, а бумаги Marvell Technology — сразу на 7,2%. Последствия могут ощутить и гиперскейлеры, как Amazon и Microsoft, предоставляющие разработчикам ИИ облачные вычислительные мощности.

Планы OpenAI и Anthropic «оказывают довольно мощный эффект на весь технологический сектор», объясняет аналитик Evercore ISI Марк Махейни. «Если эти две компании резко сократят расходы на исследования и разработки, найм сотрудников и капитальные затраты, это может оказать существенное влияние на финансовые рынки», — сказал он. 

Фьючерсы на индексы США за два часа до открытия основной сессии торговались в минусе. Помимо опасений замедления развития ИИ на них давит резкий рост цен на нефть. Контракты на технологический Nasdaq 100 дешевели сильнее других: они обвалились сразу на 1,5%. 

Акции европейских компаний, связанных с ИИ, также резко снизились. Котировки производителя оборудования для выпуска чипов ASML упали на 5%, Nokia — почти на 10%, а Infineon — почти на 8,5%.