Запропоновано спосіб скоротити на 30% витрати енергії під час навчання ШІ

Дослідники знайшли спосіб скоротити “холосту” витрату електрики.

Дослідники з Мічиганського університету показують, що можна скоротити на 30% витрату енергії, необхідної для навчання великих мовних моделей ШІ, таких як GPT. Запропонований метод дає змогу завершувати навчання за той самий час, споживаючи менше електрики.

Учені пояснюють, що енергетичні витрати виникають через нерівномірний розподіл обчислень між графічними процесорами. Деякі процесори виявляються перевантаженими, тоді як інші простоюють, що призводить до неефективного споживання енергії.

Завдання з навчання також складно рівномірно розподілити, тому що деякі завдання мають бути згруповані разом на одному процесорі. Залежно від угруповання, деякі процесори можуть застрягнути на складних завданнях, поки інші швидко розв’яжуть прості й працюватимуть у холостому режимі.

Для вирішення цієї проблеми дослідники розробили програму Perseus. Вона визначає критичні ділянки обчислень або низку підзадач, виконання яких займе найбільше часу. Потім програма уповільнює процесори, які не перебувають на критичному шляху, щоб вони всі завершили свою роботу приблизно в один і той самий час, усуваючи непотрібне споживання енергії.

За оцінками вчених, підтверджених тестами, за такого підходу терміни навчання не змінюються, а енергоспоживання скорочується на 30%. Зекономлених ресурсів вистачить для живлення 1,1 млн будинків. Крім того, запропонований метод знизить вуглецевий слід, пов’язаний з роботою центрів обробки даних.