Инженер-программист запустил генеративный ИИ на ноутбуке PowerBook G4 20-летней давности

Инженер по программному обеспечению успешно запустил генеративную модель искусственного интеллекта Llama 2 от Meta на 20-летнем PowerBook G4, продемонстрировав, как хорошо оптимизированный код может расширять возможности устаревшего оборудования.

Джо Россиньо из MacRumors сообщает: хотя требования к оборудованию для крупных языковых моделей (LLM) обычно высоки, конкретная модель PowerBook G4 2005 года оснащена всего лишь процессором PowerPC G4 на 1,5 ГГц и 1 ГБ оперативной памяти.

Несмотря на это 20-летнее оборудование, моему брату (Daniel Goldstein) удалось добиться вывода с помощью модели LLM Llama 2 от Meta на ноутбуке. Эксперимент включал в себя портирование проекта llama2.c с открытым исходным кодом, а затем ускорение производительности с помощью расширения векторных операций AltiVec для PowerPC.

В его полном блоге приводятся более подробные технические сведения о проекте.