Apple нашла стартап, уменьшающий размер ИИ-моделей. Это может помочь ей улучшить Siri

Apple ведет переговоры с небольшой компанией из Кремниевой долины PrismML, которая утверждает, что может уменьшить мощные модели искусственного интеллекта настолько, чтобы они работали непосредственно на iPhone. Об этом сам генеральный директор стартапа PrismML Бабак Хассиби рассказал в интервью CNBC.

Если заявления стартапа будут подтверждены реальным тестированием, технология компании может изменить спрос на память и вычислительные мощности для центров обработки данных, замечает телеканал, подчеркивая однако, что, по мнению аналитиков, для покрытия нужд ИИ по-прежнему потребуется много чипов.

PrismML работает с языковой моделью с открытым исходным кодом от Alibaba Qwen — по словам главы компании, стартапу удалось уменьшить размер модели с примерно 54 ГБ до менее 4 ГБ, что позволяет запускать все 27 млрд параметров Qwen на iPhone 15 или более новых моделях.

Apple и другие компании сейчас оценивает технологию стартапа, измеряя скорость работы, энергоэффективность и производительность на устройствах, рассказал Хассиби: «Они действительно изучают нашу технологию прямо сейчас», — подчеркнул он, добавив, что переговоры находятся на очень раннем этапе и их исход пока неясен.

В Apple оперативно на запрос о комментарии не ответили.

Официально о разработке PrismML сообщила 14 июля — релиз состоялся через день после того, как Apple открыла публичное бета-тестирование iOS 27, предоставив владельцам iPhone первый широкий доступ к долгожданному обновлению Siri, пишет CNBC. Apple стремится сделать Siri более конкурентоспособной по сравнению с помощниками от OpenAI и Anthropic, сохранив при этом возможность обработки данных с помощью ИИ на самом устройстве.

Однако мощные ИИ-модели, как правило, требуют много памяти и вычислительной мощности для работы на смартфоне, поясняет телеканал. Возможность запускать их непосредственно на устройстве позволила бы Apple снизить задержки, связанные с обращением к удаленным серверам, сократить расходы на облачные вычисления и усилить аргументы компании в пользу сохранения конфиденциальных данных, объясняет CNBC. Главный аналитик Creative Strategies Каролина Миланези отметила, что такие — более компактные ИИ-модели — могут позволить Apple перенести на iPhone более ресурсоемкие функции — например, генерацию видео или инструменты, отслеживающие состояние здоровья, работающие с чувствительными персональными данными.

«Чем больше возможностей у устройства, тем лучше», — сказала она.

О технологии PrismML как о «прорыве» со ссылкой на представителей стартапа ранее также писало издание The Information: в PrismML свою разработку характеризовали как «крупнейшую ИИ-модель, которая когда-либо была запущена на iPhone». В интервью CNBC Хассиби пояснил, что технология основана на радикальном упрощении хранения данных внутри ИИ-модели: каждое значение сокращается с 16 бит до одного или трех возможных значений. Это значительно уменьшает объем памяти, необходимый для хранения и работы ИИ-модели. В целом сжатые модели используют в 10-15 раз меньше памяти, генерируют ответы в 6-8 раз быстрее и потребляют в 3-6 раз меньше энергии, по сравнению с обычными версиями нейросетей, работающих на существующем оборудовании, утверждают в PrismML.

Однако есть минусы, признает Хассиби: сжатые ИИ-модели обычно теряют несколько процентных пунктов общей производительности. В первую очередь страдает точность воспроизведения фактов, тогда как навыки рассуждения, способность совершать математические вычисления и программировать сохраняются лучше.

PrismML бесплатно выпустила две сжатые версии модели, указывает CNBC. Они предназначены для работы на обычных устройствах, включая iPhone, MacBook и ПК с видеокартами от Nvidia.

Материал дополняется