Главное к утру: Anthropic описал экзистенциальные риски ИИ, OpenAI отложила релиз

Anthropic в проспекте IPO предупредит инвесторов, что ИИ-модели могут представлять катастрофические или экзистенциальные риски для человечества. OpenAI отказалась от запланированного на октябрь выпуска GPT-6.1 Astra после внутренних тестов, которые выявили проблемы с безопасностью. AMD договорилась купить за $8,2 млрд стартап World Labs, основанный Фэй-Фэй Ли и разрабатывающий ИИ-модели для создания и симуляции трехмерных сред. Об этих и других темах — в нашем обзоре ключевых событий к утру 29 сентября.

Anthropic планирует предупредить потенциальных инвесторов, что продвинутый ИИ может нести «катастрофические или экзистенциальные риски для человечества», следует из проспекта IPO, с которым ознакомился Reuters. Это беспрецедентное предостережение со стороны компании, стремящейся получить прибыль именно от этой технологии, подчеркивает агентство.

В документе говорится, что модели компании могут демонстрировать «поведение, направленное на самосохранение», то есть пытаться сопротивляться отключению, скрывать или искажать информацию и вести себя подобно шантажисту. Компания отмечает, что развитие более мощных моделей и расширение сфер их применения может повысить риск причинения вреда.

Anthropic отвела описанию рисков около 80 страниц из 261 страницы основной части проспекта — почти вдвое больше, чем описанию бизнеса, отмечает агентство. Компания также признала, что оценивать безопасность становится сложнее: модели могут понимать, что их тестируют, и менять поведение, а неожиданные способности иногда проявляются уже после запуска.

OpenAI отменила запланированный на октябрь выпуск GPT-6.1 Astra после того, как внутренние тесты выявили проблемы с безопасностью, передает The Wall Street Journal. Модель, которую планировали использовать в ChatGPT и Codex, должна была выполнять более сложные задачи без помощи человека.

По данным WSJ, Astra хуже предыдущей модели прошла тесты на то, насколько корректно модель следует намерениям и указаниям пользователя: модель чаще вводила в заблуждение относительно своих действий, а также могла продолжать выполнение задач без дополнительного разрешения пользователя и пытаться задействовать внешние инструменты в потенциально небезопасных ситуациях. 

OpenAI в последние месяцы также сообщала о нескольких случаях непредусмотренного поведения своих моделей и пообещала усилить защитные механизмы. При этом администрация Дональда Трампа выступает против замедления развития ИИ, считая приоритетом сохранение лидерства США над Китаем.

Стоимость нефти растет вторую сессию подряд: Brent торгуется выше $107 за баррель, WTI — около $94. Цены поддерживают отсутствие прогресса в переговорах США и Ирана и признаки высокого спроса на физическую нефть, отмечает Bloomberg. Иранские чиновники, по данным Bloomberg, сомневаются, что договориться с Вашингтоном и полностью открыть Ормузский пролив удастся до промежуточных выборов в США в ноябре. 

CNN и Axios ранее сообщили со ссылкой на чиновников Белого дома, что Дональд Трамп готов рассмотреть смягчение санкций против Ирана и разморозку активов в обмен на конкретные уступки по ядерной программе. Эти сообщения заметно снизили нефтяные котировки с внутридневных максимумов, однако затем опасения по поводу перспектив сделки вновь вышли на первый план. Сам Трамп отверг сообщения СМИ, заявив в Truth Social, что ничего Ирану не предлагал.

Главы Anthropic Дарио Амодей и Meta Марк Цукерберг во вторник примут участие во встрече с Дональдом Трампом и спикером Палаты представителей Майком Джонсоном, пишет CNBC со ссылкой на источники. Ожидается также участие руководителей Alphabet и Nvidia Сундара Пичаи и Дженсена Хуанга, а также президента OpenAI Грега Брокмана.

На мероприятии планируется обсудить ИИ, энергетику, космос и другие технологические темы. Встреча пройдет на фоне споров о темпах развития ИИ и его регулировании.

Samsung Electronics и еще пять компаний группы Samsung вложат в общей сложности $1 млрд в американскую Helix Digital Infrastructure, поддерживаемую KKR, пишет Bloomberg. Компания занимается инфраструктурой для ИИ и дата-центров и возглавляется бывшим руководителем AWS Адамом Селипски.

Helix была запущена в июне при участии KKR, Nvidia, Kuwait Investment Authority и Vistra, которые уже обязались вложить в нее более $10 млрд. Компания рассчитывает строить инфраструктуру для гипермасштабных ИИ-центров обработки данных, объединяя энергоснабжение, подключение к сетям, оптоволокно и финансирование на одной платформе.

AMD договорилась купить за $8,2 млрд стартап World Labs, основанный одним из пионеров ИИ Фэй-Фэй Ли, передает CNBC. Компания разрабатывает так называемые world models, способные создавать и симулировать трехмерные среды, в которых могут обучаться роботы, автомобили и другие ИИ-системы.

После сделки Ли станет главным научным сотрудником AMD и исполнительным вице-президентом компании. AMD рассчитывает использовать разработки World Labs, чтобы заранее понимать требования к будущим ИИ-чипам и усилить конкуренцию с Nvidia, отмечает телеканал. Сделка станет второй крупнейшей в истории AMD после покупки Xilinx примерно за $50 млрд, пишет CNBC.

Резервный банк Австралии повысил ключевую ставку на 25 б.п., до 4,6% — максимума за 15 лет, сообщает CNBC. Это уже четвертое повышение с начала года, всего на 100 б.п. ЦБ Австралии объяснил решение сохраняющейся инфляцией и ростом энергетических цен из-за конфликта на Ближнем Востоке, а также подорожанием технологических товаров на фоне спроса, связанного с ИИ.

Инфляция в Австралии остается выше целевого диапазона 2–3%: в июле она составила 3,5%. Регулятор предупредил, что при необходимости может продолжить повышать ставку, хотя ужесточение политики уже замедляет экономику: рост ВВП во втором квартале снизился до 2,1% с 2,5% в первом.

— Широкий японский индекс Topix падал на 1,9%, Nikkei 225 — на 1,4%.

— Гонконгский индекс Hang Seng снижался на 0,7%, индекс CSI 300 материкового Китая почти не изменился.

— В Южной Корее Kospi падал на 1%, Kosdaq — на 0,6%.

— Австралийский S&P/ASX 200 снижался на 0,1%.

— Фьючерсы на Nasdaq 100 падали на 0,4%, на S&P 500 — на 0,3% и на Dow Jones Industrial Average — на 0,2%.