Разработчики Microsoft создали сверхэффективную AI-модель, способную работать на процессорах.

Microsoft представила BitNet b1.58 2B4T – крупнейшую на сегодняшний день 1-битную модель искусственного интеллекта с 2 миллиардами параметров, способную эффективно работать на центральных процессорах (CPU). Модель распространяется под лицензией MIT. Как сообщает TechCrunch, исследователи Microsoft утверждают, что BitNet b1.58 2B4T является первой моделью BitNet с 2 миллиардами параметров, где "параметры" во многом синонимичны "весам". Обученная на наборе данных, содержащем 4 триллиона токенов – эквивалент примерно 33 миллионам книг, по одной из оценок – BitNet b1.58 2B4T превосходит традиционные модели аналогичного размера, заявляют исследователи.

BitNet b1.58 2B4T не демонстрирует значительного превосходства над другими 2-миллиардными параметрическими моделями, однако показывает конкурентоспособные результаты. Согласно тестированию исследователей, модель превосходит Meta's Llama 3.2 1B, Google's Gemma 3 1B и Alibaba's Qwen 2.5 1.5B в бенчмарках, включая GSM8K (набор математических задач начального школьного уровня) и PIQA (который проверяет навыки физического здравого смысла). Возможно, еще более впечатляющим является то, что BitNet b1.58 2B4T работает быстрее, чем другие модели аналогичного размера – в некоторых случаях в два раза быстрее – при этом используя лишь малую часть памяти.

Однако есть один нюанс. Для достижения такой производительности требуется использование кастомного фреймворка Microsoft, bitnet.cpp, который пока работает только с определенным оборудованием. Графические процессоры (GPU), доминирующие в ландшафте инфраструктуры искусственного интеллекта, отсутствуют в списке поддерживаемых чипов.