Конкурент Nvidia заявляет о мировом рекорде DeepSeek, достигнув производительности, невиданной в отрасли, при использовании на 95% меньше чипов.

Компания SambaNova запустила модель DeepSeek-R1 со скоростью обработки 198 токенов в секунду, используя всего 16 специальных чипов. Чип SN40L RDU, по заявлению компании, на 3 раза быстрее и на 5 раз эффективнее GPU.

Китайская стартап-компания DeepSeek быстро зарекомендовала себя в 2025 году благодаря своей модели R1, которая показывает результаты, сопоставимые с лучшими моделями отрасли, при этом более экономичная. SambaNova Systems, стартап, основанный в 2017 году экспертами из Sun/Oracle и Стэнфордского университета (Родриго Лианг), объявил о самой быстрой реализации модели DeepSeek-R1 объемом 671 миллиард параметров. Компания достигла скорости обработки в 198 токенов в секунду на пользователя, используя всего 16 специальных чипов вместо обычных 40 стойков с 320 GPU Nvidia.

«С поддержкой чипа SN40L RDU SambaNova является самым быстрым платформой для запуска DeepSeek», — заявил Родриго Лианг (Rodrigo Liang), CEO и сооснователь SambaNova. «Это увеличится до 5 раз быстрее, чем скорость последних GPU на одной стойке, а к концу года мы предложим 100 раз больше мощности для DeepSeek-R1».

Хотя традиционно большие AI нагрузки выполнялись с помощью GPU Nvidia, SambaNova утверждает, что её переконфигурируемая архитектура данных обеспечивает более эффективное решение. Компания заявляет, что её оборудование работает в 3 раза быстрее и в 5 раз эффективнее лидеров на рынке GPU при сохранении полной мощности рационального вывода модели DeepSeek-R1.

«DeepSeek-R1 является одной из самых передовых AI моделей, но её потенциал ограничивался неэффективностью GPU», — отметил Лианг. «Сегодня это меняется. Мы вводим следующий значительный прорыв — снижение затрат на вывод и уменьшение потребности в оборудовании с 40 стойков до одной, чтобы обеспечить работу модели DeepSeek-R1 на максимальных скоростях».

Георг Камерон (George Cameron), сооснователь компании Artificial Analysis, занимающейся оценкой AI моделей, заявил, что его компания «независимо проверила производительность облачного развертывания полной модели DeepSeek-R1 объемом 671 миллиард параметров на более чем 195 токенов в секунду, что является самой высокой скоростью вывода для этой модели».

Высокая скорость вывода особенно важна для моделей с рациональными вычислениями, так как эти модели используют токены вывода для улучшения качества своих ответов. Высокие скорости вывода SambaNova будут поддерживать использование таких моделей в случаях использования, где важно минимальное время отклика.

DeepSeek-R1 671B теперь доступна на облачной платформе SambaNova Cloud с API-доступом для выбранных пользователей. Компания быстро увеличивает свою мощность и надеется достичь скорости обработки в 20,000 токенов в секунду «в ближайшем будущем».