DeepSeek открыл доступ к инструменту, который помогает ему удешевлять работу ИИ

Китайская ИИ-лаборатория DeepSeek, основанная предпринимателем Ляном Вэньфэном, выложила в открытый доступ DeepInfer — программное обеспечение, на котором работают ее собственные модели. Инструмент ускоряет работу ИИ-моделей компании и помогает эффективнее расходовать вычислительные мощности.

«Мы делимся нашим рабочим программным стеком (программным обеспечением, на котором работают модели. — прим. Oninvest), чтобы помочь сообществу снизить затраты на вычисления, сократить энергопотребление и сделать ИИ более доступным», — сообщила компания 20 октября в соцсети X.

Пока DeepInfer работает только с ИИ-моделью V4.1-Flash от DeepSeek, но компания заявила, что добавит поддержку и будущих моделей, пишет Bloomberg. Инструмент предназначен для снижения стоимости инференса — этапа, на котором обученная модель генерирует ответы. Именно эти расходы во многом определяют экономику ИИ-сервисов: обучение модели — разовая крупная трата, а инференс оплачивается при каждом запросе пользователя.

Публикация исходного кода DeepInfer позволяет увидеть технические приемы, которые ИИ-компании обычно держат в секрете, и показывает, как DeepSeek удается удерживать низкую стоимость инференса, поясняет Bloomberg. DeepInfer объединяет разные методы — например, распределенный инференс, при котором нагрузка распределяется между разным оборудованием. Благодаря им модели генерируют больше ответов за меньшее время, а из чипов удается выжать больше производительности. Многие из этих методов широко используются, но DeepSeek адаптировал их для эффективной работы со своими моделями, указывает агентство.

Более эффективный софт способен снизить стоимость обработки каждого запроса и, возможно, сократить энергопотребление, указывает Bloomberg. Это может повысить маржу облачных и хостинг-провайдеров, разворачивающих модели DeepSeek, и привести к снижению цен для конечных клиентов. Компаниям, запускающим модели DeepSeek на собственной инфраструктуре, DeepInfer может помочь сократить эксплуатационные расходы.

Независимых тестов, подтверждающих прирост эффективности от DeepInfer, пока нет, подчеркивает при этом агентство. Однако хотя инструмент рассчитан в основном на модели DeepSeek, сторонние разработчики также могут изучить открытый код и применить его решения в собственных системах инференса.

DeepSeek получила мировую известность в начале 2025 года после выхода модели R1, обучение которой, по заявлению компании, обошлось менее чем в $6 млн, что было сравнительно дешевле американских аналогов. Это событие  спровоцировала распродажу акций технологических компаний на $1 трлн на опасениях, что отрасль ИИ переплачивает за вычислительные мощности.

Теперь же, по данным источников Reuters, с лета 2026 года DeepSeek ведет разработку собственного чипа для инференса — чтобы снизить зависимость от чипов сторонних компаний, в том числе производства Nvidia. Параллельно компания пытается привлечь как минимум $12 млрд в рамках второго раунда финансирования, который должен увеличить оценку ИИ-лаборатории почти в 1,5 раза, до 500 млрд юаней (около $75 млрд). В начале следующего года DeepSeek, по информации Bloomberg, планирует выйти на IPO.