Небезпечний шлях. Маск хоче навчати ШІ на даних, які він сам згенерує

Мільярдер та засновник ШІ-стартапу xAI Ілон Маск вважає, що галузь переживає кризу, оскільки дані для навчання моделей майже вичерпані.

Ілон Маск погоджується з експертами зі штучного інтелекту, які стверджують, що залишилося мало реальних даних для навчання моделей.

«Наразі ми в основному вичерпали загальну суму людських знань у навчанні штучного інтелекту. Це сталося в основному минулого року», — сказав Маск під час розмови з головою маркетингової групи Stagwell Марком Пенном.

Маск припустив, що синтетичні дані — дані, створені самими моделями ШІ — можуть використовуватися для навчання моделей в майбутньому.

«Єдиний спосіб доповнити — синтетичні дані, де штучний інтелект створює [навчальні дані]. З синтетичними даними ШІ начебто оцінюватиме себе та проходитиме цей процес самонавчання», — додав Маск.

Як пише TechCrunch, це співзвучно з нещодавніми заявами одного зі співзасновників OpenAI Іллі Суцкевера, який на конференції NeurIPS заявив, що брак навчальних даних змусить виробників ШІ змінити спосіб розробки моделей.

ШІ Phi-4 від Microsoft був навчений на синтетичних даних разом із даними реального світу. Так само моделі Gemma від Google, Claude 3.5 Sonnet від Anthropic. Meta вдосконалила свою останню серію моделей Llama, використовуючи дані, згенеровані ШІ.

Навчання на синтетичних даних має переваги, наприклад економить кошти. Але є і недоліки. Деякі дослідження показують, що синтетичні дані можуть призвести до колапсу моделі, коли вона стає менш «креативною» і більш упередженою у своїх результатах.