DeepSeek-V3 теперь работает со скоростью 20 токенов в секунду на Mac Studio

Анонимный читатель приводит отчёт VentureBeat: китайский стартап в области ИИ DeepSeek тихо выпустил новую большую языковую модель, которая уже вызывает волнение в индустрии искусственного интеллекта – не только из-за своих возможностей, но и из-за способа её внедрения. Модель объёмом 641 гигабайт под названием DeepSeek-V3-0324 появилась сегодня на репозитории AI Hugging Face практически без каких-либо объявлений (только пустой файл README), продолжая тенденцию компании к незаметным, но результативным выпускам.

Что делает этот запуск особенно примечательным, так это лицензия MIT для модели – она свободно доступна для коммерческого использования – и ранние сообщения о том, что она может работать непосредственно на потребительском оборудовании, а именно на Mac Studio от Apple с чипом M3 Ultra.

"Новая DeepSeek-V3-0324 в 4-битном формате работает со скоростью > 20 токенов/секунду на Mac Studio объёмом 512 ГБ с mlx-lm!" – написал исследователь ИИ Авни Ханнун (Awni Hannun) в социальных сетях. Хотя Mac Studio стоимостью 9 499 долларов может выходить за рамки определения "потребительского оборудования", возможность запуска такой огромной модели локально является существенным отклонением от требований к центрам обработки данных, которые обычно связаны с передовыми технологиями ИИ.

[...] Саймон Уиллисон (Simon Willison), создатель инструментов для разработчиков, отметил в блоге, что 4-битная квантованная версия сокращает размер хранилища до 352 ГБ, что делает её пригодной для запуска на высокопроизводительном потребительском оборудовании, таком как Mac Studio с чипом M3 Ultra. Это может означать значительный сдвиг в области внедрения ИИ.

В то время как традиционная инфраструктура ИИ обычно полагается на несколько GPU Nvidia, потребляющих несколько киловатт энергии, Mac Studio потребляет менее 200 ватт во время вывода. Этот разрыв в эффективности предполагает, что индустрии ИИ может понадобиться переосмыслить предположения о требованиях к инфраструктуре для достижения наилучшей производительности модели.

"Последствия появления продвинутой модели с открытым исходным кодом, способной к рассуждениям, нельзя преувеличивать", – сообщает VentureBeat. "Текущие модели для рассуждений, такие как o1 от OpenAI и R1 от DeepSeek, представляют собой передовую в области возможностей ИИ, демонстрируя беспрецедентные способности решения проблем в таких областях, как математика и программирование. Свободное распространение этой технологии позволит демократизировать доступ к системам ИИ, которые в настоящее время доступны только организациям с большими бюджетами."

"Если DeepSeek-R2 последует по пути DeepSeek-R1, она может бросить прямой вызов GPT-5, флагманской модели OpenAI, о выпуске которой ходят слухи в ближайшие месяцы. Контраст между закрытым подходом OpenAI с большими инвестициями и открытой ресурсоэффективной стратегией DeepSeek представляет собой два конкурирующих видения будущего ИИ."