У світі Minecraft побудували нейромережу в дусі ChatGPT: як працює ШІ з 439 млн блоків

Minecraft давно відомий як пісочниця для творчості без обмежень. Але цей проект особливо дивує розмахом і складністю задуму. За допомогою "редстоуна" — віртуального аналога електричних дротів — ентузіаст відтворив усі компоненти справжнього комп'ютера: токенізатори, матричні помножувачі та інші елементи, необхідні для роботи ШІ, пише Tom's Hardware.

Як влаштований CraftGPT

Геймер зібрав невелику мовну модель на 5 мільйонів параметрів (для порівняння, у GPT-3 їх 175 мільярдів), навчену на простих англійських діалогах. Вона має словниковий запас у 1920 токенів і контекстне вікно в 64 токени, чого вистачає для коротких бесід.

Розміри віртуального комп'ютера вражають: щоб просто облетіти його на відео, автору довелося використовувати спеціальний мод Distant Horizons. При цьому вся логіка реалізована на стандартних ігрових механіках, без використання модів або чит-команд.

Для чого це потрібно

Звичайно, про практичне застосування такого чат-бота не йдеться. Якість відповідей страждає: модель часто відходить від теми, робить граматичні помилки або просто видає безглуздий набір слів. Утім, головний мінус — швидкість. Навіть при прискоренні ігрового часу в 40 000 разів за допомогою спеціального сервера, на генерацію однієї відповіді йде близько двох годин.

Цей проект — не спроба створити робочого конкурента ChatGPT, а радше витвір інженерного мистецтва. Це наочна демонстрація того, що базові принципи роботи складних систем, таких як ШІ, можуть бути відтворені навіть у таких, здавалося б, простих середовищах, як Minecraft. Журналісти назвали ідею демонстрацією людської завзятості та креативності.

Раніше Фокус писав, що ChatGPT дедалі рідше використовується для роботи. Більшість користувачів ChatGPT сьогодні звертаються до чат-бота не за робочими завданнями, а за порадами, інформацією та допомогою з текстами.