Google заявила о 33-кратном снижении энергозатрат на запросы к искусственному интеллекту за год.

Компания Google опубликовала анализ экологического воздействия своих систем искусственного интеллекта (ИИ), демонстрирующий 33-кратное снижение энергопотребления при обработке текстовых запросов за последний год. Теперь каждый запрос потребляет около 0,24 ватт-часа – эквивалент девяти секунд просмотра телевизора. Согласно оценкам, медианный текстовый запрос в Gemini Apps потребляет 0,24 ватт-часа энергии, выбрасывает 0,03 грамма эквивалента углекислого газа (gCO2e) и потребляет 0,26 миллилитра воды (около пяти капель). Для сравнения, энергопотребление сопоставимо с девятью секундами просмотра телевизора.

Несмотря на небольшое индивидуальное воздействие, совокупные затраты, вероятно, значительны, учитывая огромный объем запросов. Компания приняла решение выполнять операцию ИИ с каждым поисковым запросом, что создает вычислительную нагрузку, которой не существовало несколько лет назад.

Однако есть и хорошие новости. Часть снижения обусловлена внешними факторами, такими как рост использования солнечной энергии в США и других странах, что позволило Google обеспечить использование возобновляемых источников энергии. В результате, выбросы углерода на единицу потребленной энергии снизились на 1,4% за последний год. Но наибольший эффект был достигнут благодаря оптимизации программного обеспечения, которая привела к 33-кратному снижению энергопотребления на запрос.

Команда Google описывает ряд оптимизаций, которые способствовали этому результату. Одной из них является подход, называемый "Mixture-of-Experts" (смесь экспертов), который заключается в активации только той части ИИ-модели, которая необходима для обработки конкретного запроса. Это позволяет снизить вычислительные потребности в 10-100 раз. Также были разработаны компактные версии основной модели, которые снижают вычислительную нагрузку. Важную роль играет управление центрами обработки данных: компания обеспечивает полную загрузку активного оборудования, переводя остальное в режим низкого энергопотребления.

Кроме того, Google разрабатывает собственные специализированные AI-ускорители и архитектуру программного обеспечения, работающего на них, что позволяет оптимизировать как аппаратную, так и программную составляющие для эффективной совместной работы. Это особенно важно, учитывая, что активность на AI-ускорителях составляет более половины общего энергопотребления запроса. Опыт компании в управлении энергоэффективными центрами обработки данных также переносится на работу с ИИ. В результате, компания оценивает, что энергопотребление типичного текстового запроса снизилось в 33 раза только за последний год.