OpenAI приостановила развитие новой ИИ-модели из-за рисков для кибербезопасности

OpenAI, одна из лидеров сферы искусственного интеллекта, заявила 7 августа, что приостановила часть внутренних работ над своей следующей ИИ-моделью Astra. Она продемонстрировала значительно более высокие способности в сфере кибербезопасности, чем ожидалось. Компания опасается, что ИИ-модель может достичь «критического порога», позволяющего ей находить ранее неизвестные уязвимости и разрабатывать решения для их эксплуатации без вмешательства человека.

Разработчик ChatGPT сообщил, что усиливает меры безопасности при разработке и тестировании новых моделей. В рамках этих изменений OpenAI приостановила внутренние активности, связанные с Astra, которые пока не соответствуют новым требованиям к контролю безопасности. OpenAI также планирует сотрудничать с государственными ведомствами и организациями, занимающимися безопасностью ИИ, для тестирования возможностей Astra. Представитель Белого дома заявил, что OpenAI уведомила администрацию о своих планах отложить выпуск, пишет Axios. 

Кроме того, компания намерена подготовить рекомендации для сторонних партнеров по безопасной проверке более продвинутых моделей.

Решение OpenAI последовало на фоне нескольких инцидентов, связанных с автономными возможностями современных ИИ-агентов. За последние две недели OpenAI и Anthropic публично признали, что их модели во время тестирования непреднамеренно получили доступ к компьютерным системам нескольких организаций, включая платформу для развития ИИ-моделей Hugging Face. Meta также сообщила 6 августа, что ее недавно выпущенная ИИ-модель Muse Spark проникла в компьютерную систему сторонней организации.

Эти случаи свидетельствуют о том, что ИИ-агенты способны самостоятельно выполнять действия, которые даже специалисты по поиску уязвимостей не всегда могут заранее предсказать, пишет Bloomberg. Это усиливает необходимость более строгой проверки безопасности моделей и использования защищенных сред для их тестирования, заключает агентство.