Можно ли запустить LLM Llama 2 на DOS?

Читатель Slashdot под ником yeokm1, сингапурский исследователь в области встроенной безопасности, в качестве личных проектов занимается установкой Linux на ПК 1993 года и созданием клиента ChatGPT для MS-DOS.

Теперь он делится своим последним проетом — установкой Llama 2 на DOS:

Распространенное мнение гласит, что для локального запуска больших языковых моделей (LLM) требуются компьютеры с высокими техническими характеристиками, особенно графические процессоры (GPU) с большим объемом видеопамяти (VRAM). Но действительно ли это так?

Благодаря открытому проекту llama2.c [первоначально созданному Андреем Карпати (Andrej Karpathy)], мне удалось портировать его для работы на устаревших машинах под управлением DOS, что позволяет им выполнять вывод с использованием моделей Llama 2. Конечно, существуют серьезные ограничения, но результаты могут вас удивить.

“Все открыто и доступно для скачивания”, – говорится в сообщении блога. (Разработчики даже решили проблему с ограничением длины имен файлов в DOS, равной восьми символам.)

“Как и ожидалось, чем современнее система, тем выше скорость вывода...”, – добавляется в сообщении. “Тем не менее, я поражен тем, чего все еще можно достичь с помощью устаревших систем.”