Google DeepMind разработала новый энергоэффективный метод обучения ИИ

Mind опубликовала результаты нового исследования по обучению искусственного интеллекта.

В этом отчете представлен новый метод обучения JEST (Joint Example Selection), который в 13 раз быстрее и в 10 раз энергоэффективнее обычных методов обучения ИИ.

Типичные методы обучения фокусируются на отдельных точках данных для обучения, JEST обучается на основе целых пакетов данных.

Затем он сравнивает эту оценку с крупным набором более низкого качества.

Малая модель JEST определяет пакеты, подходящие для обучения, а затем на основе результатов меньшей модели обучается большая модель.

Этот метод превосходит все современные модели обучения по эффективности и требует в 10 раз меньше энергозатрат.

Это очень актуально на фоне серьезного роста энергопотребления у современных вычислительных центров.

Но есть нюанс.

JEST полагается на высокое качество отобранных входных данных и определенную сортировку, произведенную человеком.

Поэтому метод очень чувствителен к точности исходной информации.

Это может потребовать привлечения специалистов и экспертов высокого уровня на начальном этапе, что усложняет задачу для простых разработчиков и любителей.

Пока не известно, возьмут ли на вооружение новый метод разработчики крупных ИИ.

Но на фоне роста финансовых затрат, которые связаны с обучением передовых моделей ИИ, поиск вариантов для оптимизации и экономии ресурсов является вполне логичным.

По итогам 2023 года общее энергопотребление вычислительных центров ИИ превысило 4,3 ГВт, что сопоставимо энергопотреблением Кипра.

И согласно прогнозам в ближайшие пару лет оно превысит 13 ГВт.

Tom's Hardware.