Метод изменения тактовой частоты GPU сокращает энергопотребление при обучении LLM до 14%
OpenAI
NVIDIA
Исследователи из Университета Твенте (Нидерланды) показали, что регулировка тактовой частоты GPU на уровне отдельных вычислительных ядер позволяет сэкономить до 14% энергии при обучении больших языковых моделей без существенного замедления. Работа представлена на конференции Computing Frontiers.
Группа исследователей из Университета Твенте под руководством аспиранта Джеффри Спаана разработала метод экономии энергии при обучении больших языковых моделей (LLM) за счёт динамического изменения тактовой частоты GPU (DVFS). Техника DVFS известна с 1990-х годов, но ранее её не удавалось эффективно применить к обучению LLM из-за слишком грубой настройки. Спаан и коллеги оптимизировали частоты на уровне отдельных вычислительных ядер (кernels), на которые разбивается работа GPU. В ходе эксперимента они обучали модель GPT-3-XL (1,3 млрд параметров) на GPU Nvidia RTX 3080 Ti. Настройка частот позволила сократить энергопотребление на 14% при замедлении обучения всего на 0,6%. Исследователи отмечают, что частота переключения зависит от аппаратного обеспечения: новые GPU, такие как Blackwell, поддерживают более быструю регулировку. В настоящее время команда разрабатывает инструмент для автоматической оптимизации частот под конкретную задачу.
- Сокращения
- LLM = Large Language Model — большая языковая модель
- GPU = Graphics Processing Unit — графический процессор
- DVFS = Dynamic Voltage and Frequency Scaling — динамическое изменение напряжения и частоты
Источник: IEEE Spectrum AI —
оригинал