Amazon випадково витратила на Claude $1,8 млн

Кілька внутрішніх звітів, які опинились у розпорядженні Financial Times, демонструють помилкові та надмірні витрати Amazon на моделі ШІ. 

В одному з таких випадків на використання Claude для рутинних завдань з програмування помилково було витрачено $1,8 млн. Раніше подібні помилки були максимально не витратними, однак нові моделі ШІ зробили їх катастрофічно дорогими через різке зростання витрат на токени після впровадження ШІ-агентів.

Рахунок в $1,8 млн, як зазначається, виник після невдалого впровадження Claude Sonnet, який мав зіставляти дані про авторів з оголошеннями на Amazon. Таким чином перебільшення виділеного на це бюджету склало 860% й було виявлено лише через 5 місяців після появи проблеми. 

Серед інших аналогічних проблем — додаткові витрати у розмірі $541 тис., пов’язані з проєктом з розробки фінансового аудиту, а також додаткові витрати у розмірі $134 тис. на систему, призначену для скорочення часу доставлення в логістичній мережі компанії.

І хоча витрата понад мільйона доларів на невдалі проєкти в області ШІ може здатись комусь надмірною, останній прибуток Amazon склав понад $181 млрд. Тобто подібні витрати складають менш як 0,1% від щомісячного прибутку. 

Це не вперше, коли в Amazon виникають проблеми через ШІ. Раніше в цьому році повідомлялось про збої в роботі гіганта, викликані помилками в коді ШІ-ботів. В компанії виправили це, обмеживши права ШІ-агентів замість надання їм таких самих прав як в старших інженерів. 

Раніше також існував рейтинг використання ШІ співробітниками, однак в Amazon від нього відмовились, оскільки зростання витрат на ШІ змусило компанію переглянути власну політику. Багато технологічних компаній заохочують співробітників до максимально активного використання ШІ з метою підвищення продуктивності внаслідок максимального використання токенів. 

Однак за словами техдиректора Uber, не має ніякого зв’язку між цією політикою та успішною реалізацією продуктів. Та оскільки агенти взяли на себе велику кількість відповідальних функцій, а постачальники ШІ відмовились від підписки й перейшли до моделі оплати за кожен витрачений токен, витрати для компаній стали настільки високими, що річні бюджети вичерпуються за лічені тижні.

Може для таких техгігантів як Amazon та Microsoft це не така вже й проблема, однак для більшості менших компаній це дуже критично. 

Джерело: Financial Times; Tom’s Hardware