Дослідники BitEnergy AI розробили новий алгоритм множення, який знизить енергоспоживання обчислень ШІ на 95%

Триває бум штучного інтелекту.

Найбільші технологічні компанії вкладають величезні кошти в розвиток цієї сфери та в нові обчислювальні центри.

Але стрімке нарощування обчислювальної інфраструктури призводить до серйозного зростання енергоспоживання, що в найближчому майбутньому може стати певною проблемою.

Наразі ChatGPT потребує близько 564 МВт∙год щодня, чого вистачило б для живлення 18 тисяч американських будинків.

І загальне енергоспоживання дата-центрів ШІ лише зростатиме.

Фахівці прогнозують, що до 2027 року ШІ може споживати від 85 до 134 ТВт∙год на рік.

Тому провідні гравці ринку вже розглядають варіанти з малими атомними реакторами, які будуть використовуватися виключно для живлення ЦОД.

З іншого боку, різні компанії та дослідники шукають шляхи оптимізації обчислень.

Інженери з Bit.

Energy AI готові запропонувати свій варіант економії, який знизить енергоспоживання обчислювальних систем ШІ на значні 95%.

Вони пропонують новий алгоритм цілочисельного лінійно-складного множення (Linear-Complexity Multiplication) замість звичних операцій множення з рухомою комою.

Операції з рухомою комою дають змогу виконувати обчислення з високою точністю, але це водночас дуже енергомістка операція під час роботи зі ШІ.

Новий алгоритм Linear-Complexity Multiplication використовує метод апроксимації складного множення з рухомою комою простішими операціями цілочисельного додавання.

При цьому економія енергії складе 95% для тензорних множень і 80% для скалярних операцій.

Тестування довело, що така заміна дає змогу зберегти потрібну точність під час виведення ШІ.

Linear-Complexity Multiplication навіть перевершує поточні 8-бітові обчислювальні стандарти, досягаючи вищої точності з меншою кількістю обчислень.

Цей алгоритм можна інтегрувати в GPT.

Тести в популярних моделях Llama і Mistral показали кращу точність у деяких завданнях.

Головна проблема нового алгоритму в тому, що він потребуватиме нового апаратного забезпечення.

А в цьому можуть бути не зацікавлені провідні виробники обладнання, включно з Nvidia.

Хороша новина в тому, що вже є плани з розроблення спеціального обладнання та програмних API під новий метод, але не згадується, про які компанії йдеться.