Коли ШІ почне покращувати себе сам, часу на реакцію людства майже не залишиться – OpenAI і Anthropic

Провідні дослідники та керівники у сфері штучного інтелекту, зокрема з OpenAI, Anthropic і Microsoft, попереджають: здатність ШІ автоматизувати власний розвиток може різко прискорити прогрес технологій і залишити уряди та інституції без часу на підготовку.

Про це йдеться в новій білій книзі, повідомляє Axios.

Що саме лякає експертів

Автори документа, серед яких лауреати премії Тюрінга (зокрема Джеффрі Гінтон), головний науковець OpenAI, головний науковий директор Microsoft та співзасновник Anthropic, описують сценарій «вибуху інтелекту» (intelligence explosion).

За їхніми словами, моделі ШІ, які зможуть самостійно покращувати себе, можуть спричинити надзвичайно швидке зростання можливостей. У одному зі сценаріїв річний обсяг прогресу може відбутися за кілька тижнів.

У документі наводять докази, що системи Anthropic і OpenAI уже починають виконувати більше внутрішніх дослідницьких і інженерних завдань, автоматизуючи значну частину роботи.

Рекурсивне самовдосконалення

Це, на думку авторів, наближає компанії до порогу «рекурсивного самовдосконалення» (recursive self-improvement) — стану, коли ШІ швидко покращує сам себе.

Вони оцінюють, що після досягнення експертного рівня в дослідженнях і розробках один розробник зможе підтримувати «робочу силу» ШІ, еквівалентну мільйонам найкращих людських дослідників.

Невизначеність і заклики

Автори визнають, що такий «вибух інтелекту» далеко не гарантований. Йому можуть перешкодити обмеження обчислювальних потужностей, складнощі з автоматизацією, зменшення віддачі від розширення можливостей або тривалі цикли навчання.

Водночас вони наголошують: якщо процес почнеться, часу на реакцію майже не залишиться.

«Коли вибух інтелекту почнеться, вікно для дій може закритися», — йдеться в документі.

Дослідники закликають до більшої прозорості урядів щодо автоматизації досліджень і розробок у сфері ШІ, механізмів паузи або уповільнення процесу за потреби, а також кращої підготовки до наслідків. Серед пропозицій — обов’язкове звітування про інциденти, незалежні оцінювачі, вимоги безпеки для тестування потужних систем і можливість зупиняти певні роботи.

Попередження пролунало на тлі розслідувань OpenAI і Anthropic щодо десятків тисяч випадків, коли передові моделі робили кроки, які зовнішні оцінювачі вважають проблемними.