Віталік Бутерін виступив проти надмірної автономності ШІ

Співзасновник Ethereum Віталік Бутерін розкритикував тенденцію до створення «надмірно агентних» моделей штучного інтелекту. Він закликав розширювати можливості для людського контролю, щоб підвищити якість і безпеку роботи таких систем.

«Мене дратує, що багато розробників ШІ прагнуть до максимальної автономності систем, хоча насправді більше можливостей для людського контролю не лише покращує результати (як зараз, так і надалі), а й підвищує безпеку», — написав він.

Бутерін відреагував на допис колишнього директора з ШІ в Tesla Андрія Карпатого, який зазначив, що великі мовні моделі стають надто самостійними через оптимізацію під тривалі завдання. Наприклад, у програмуванні вони можуть довго аналізувати навіть найпростіші запити.

«Хоча це виправдано для тривалих завдань, такий підхід менш придатний для активної ітеративної розробки або швидких перевірок перед виконанням скрипта. Я регулярно перериваю ШІ командами: „Припини аналіз. Обмежся цим файлом. Без додаткових інструментів. Без зайвих рішень“», — підкреслив він.

Бутерін підтримав позицію Карпатого, зазначивши, що надмірна автономність ШІ знижує ефективність. На його думку, відкриті моделі з функціями редагування значно кращі, ніж ті, що створюють контент з нуля.

Співзасновник Ethereum також бачить перспективи у нейрокомп’ютерних інтерфейсах, які у режимі реального часу відстежують реакцію користувача на створюваний контент і адаптуються до неї. Це дозволило б ШІ враховувати наміри та очікування людини. Поточні моделі, за його словами, часто ігнорують такі нюанси, що знижує їхню корисність.

Реакція спільноти

Крім Бутеріна, думку Карпатого підтримали й інші користувачі.

«Учора я відмовився від Cursor саме з цієї причини — він постійно забігає на п’ять кроків уперед у неправильному напрямку. Поки що повернувся до ручного копіювання відповідей із ChatGPT/Claude/Gemini», — зазначив ШІ-ентузіаст під ніком barry farkus.

Інженер-програміст Кан Каракас додав, що наявні ШІ-моделі схильні до надмірного ускладнення. За його словами, «це добре для глибокого аналізу, але уповільнює прості перевірки».

Втім, не всі погодилися з цією позицією. Користувач під ніком Conor заявив, що Карпатий говорить про поведінку за замовчуванням, яку можна змінити.

«Можна чітко вказати моделі у промпті, чого ви хочете (наприклад, буквально вставити цей твіт у системні інструкції та написати щось на кшталт: „зверни увагу на це під час виконання запиту“). Я не проти, щоб поведінка за замовчуванням була більш автономною, але так — якщо завдання виходять за ці межі, доведеться давати точні інструкції», — прокоментував він.