Гравець у Minecraft побудував власний аналог ChatGPT за допомогою редстоуна

Гравець у Minecraft під ніком Sammyuri, відомий створенням 1Hz процесора в грі, представив новий проєкт - CraftGPT. Це маленька мовна модель, що працює на гігантському комп'ютері, зібраному повністю з редстоуна.

Машина вражає не тільки розмірами, близько 439 мільйонів блоків у сумі, а й функціоналом - вона справді здатна генерувати відповіді на текстові запити, прямо як справжній ChatGPT.

Щоправда, на результат доведеться запастися терпінням - одна репліка моделі обробляється близько двох годин, навіть із прискоренням внутрішньоігрового годинника (тіків) у 40 тисяч разів.

За словами Sammyuri, CraftGPT побудований без командних блоків, виключно на редстоуні. У системі є токенізатори, матричні помножувачі та інші базові компоненти.

Сама мовна модель навчена в Python на датасеті TinyChat, має 5,087 мільйона параметрів, 6 шарів, словник із 1920 токенів і контекстне вікно на 64 токени.

Незважаючи на значні технічні характеристики, розробник визнає, що CraftGPT далекий від реальних LLM. Модель часто йде вбік, будує неграмотні фрази або видає маячню.