Дослідники навчили ChatGPT грати в Red Dead Redemption 2

Група дослідників з Китаю та Сінгапуру опублікувала статтю, в якій розповіли про концепцію загального комп'ютерного контролю GCC (General Computer Control) для штучного інтелекту.

Вони намагалися навчити ШІ грати в Red Dead Redemption 2 як приклад складної взаємодії з комп'ютером на рівні середньої людини.

Цей експеримент досліджує можливості створення просунутого загального штучного інтелекту (AGI).

ШІ, що працює на основі моделі OpenAI GPT-4V, взаємодіяв з комп'ютером, сприймаючи візуальні та звукові сигнали для інтерпретації та прийняття рішень.

Для цього довелося реалізувати складну систему із шести модулів, яка отримала назву CRADLE.

Вибір Red Dead Redemption 2 обґрунтований тим, що це велика комплексна гра з багатим віртуальним середовищем та різноманітними ситуаціями.

Також наявність підказок, інтерфейсу та діалогів сприяє процесу навчання.

А керування за допомогою миші та клавіатури відмінно підходило для загальної концепції GCC.

Дослідники прагнули показати, що ШІ здатний вивчати гру з нуля, подібно до людини, переміщатися світом і виконувати завдання.

І певного прогресу в цьому вдалося досягти.

Система CRADLE змогла виконувати ряд завдань, хоча були винятки, наприклад, місія Protect Dutch, де є стрімка перестрілка, або завдання Search House, яке потребує дослідження складного ігрового середовища.

За підсумками дослідження виявлено слабке місце усієї системи — це система машинного зору GPT-4V.

Виявилося, що дана модель ШІ не справляється з обробкою всієї візуальної інформації.

Зокрема, є проблема з розумінням мінікарти, зі сприйняттям перешкод в ігровому середовищі та іншими елементами.

Поки що можливості GPT-4V недостатні для точного просторово-візуального розпізнавання.

Можливо, автори повторять дослідження у майбутньому.

У статті згадується, що їхня система CRADLE здатна працювати з іграми широкого спектра жанрів, не обмежуючись Red Dead Redemption 2.

Tom's Hardware.