В Україні представили велику мовну модель Lapa LLM. Що відомо

В Україні презентували велику мовну модель Lapa LLM v0.1.2, яку адаптували для роботи з українською мовою. Над нею працювали науковці з Українського католицького університету, Київського політехнічного інституту, Львівської політехніки та Гірничо-металургійної академії у Кракові. Про це пише видання DOU.

Мета мовної моделі — зробити швидку, точну та повністю відкриту українську LLM, придатну для досліджень і комерційного використання. Її основою стала архітектура великої мовної моделі Google — Gemma-3-12B.

Модель названа на честь Валентина Лапи — співавтора методу групового урахування аргументів, який став одним із теоретичних фундаментів сучасного Deep Learning (один із методів машинного навчання, який допомагає вирішувати специфічні завдання з обробки великих обсягів даних).

За словами розробників, при створенні Lapa LLM було замінено 80 тисяч із 250 тисяч токенів, завдяки чому обробка україномовного тексту стала ефективнішою  — тепер для тих самих завдань потрібно у півтора раза менше обчислень. В УКУ кажуть, що за швидкістю роботи з українською нова модель обходить оригінальну Gemma та більшість закритих моделей аналогічного класу.

У тестах на продуктивність Lapa LLM продемонструвала стабільну роботу з великими текстами, збереження контексту й точність при відповідях на запитання. Серед іншого модель показала послідовність у визначенні маніпулятивних наративів і упереджених формулювань.

За словами розробників, у деяких завданнях Lapa LLM вже наближається до MamayLM, яка на сьогодні вважається лідером серед українських мовних моделей. У версії 1.0 творці Lapa LLM планують перевершити її результати.

Наразі сама модель повністю відкрита для комерційного використання. Водночас її розробники анонсували вихідний код для тренування та 25 навчальних датасетів (наборів даних). Перші 5 датасетів та частину коду для тренування автори вже опублікували на сторінці проєкту. Решту обіцяють викласти протягом тижня з моменту релізу.

Творці моделі кажуть, що в процесі її навчання застосовували відкриті українські корпуси та дані, оцінені за параметрами читабельності, граматики й відсутності дезінформації. На фінальних етапах використовувались матеріали Бібліотеки Гарварду.

Lapa LLM можна використовувати зокрема для створення корпоративних асистентів і чатботів українською, машинного перекладу між українською та англійською та роботи з конфіденційними текстами без передавання їх на зовнішні сервери.

Далі науковці планують створити міркувальну (reasoning) версію моделі та розширити корпуси для аналізу зображень і програмування.

Нагадаємо, у квітні Міністерство цифрової трансформації повідомляло, що  до кінця року в Україні створять велику мовну модель, яка стане основою для появи чатботів та ШІ-асистентів для держави й бізнесу, що покращить послуги для користувачів і підвищить ефективність організацій.

Фото: Techopedia