ШІ-експеримент - чат GPT не зміг скласти українське ЗНО

Українські дослідники провели тестування найбільш популярних моделей штучного інтелекту (ШІ) на завданнях ЗНО, проте жодна з них не змогла подолати позначку у 70% правильних відповідей. Про це повідомляє медіаресурс dev.ua, посилаючись на результати дослідження.

Розробники створили ZNOVision - перший багатоформатний тест, що оцінює здатність ШІ працювати з українською мовою, освітніми матеріалами та національною культурою. Тест ZNOVision містить понад 4300 завдань, розподілених за 13 напрямками, серед яких фізика, математика, історія, література. 

До тестування залучили шість основних моделей ШІ: GPT4o; Claude 3.5 Sonnet; Gemini 1.5 Pro; Qwen2VL72B; Paligemma3B; PaligemmaFT. Для обробки питань і запуску моделей використовували хмарну платформу De Novo, яка надала доступ до GPU-кластерів у приватній хмарі, сертифікованій за державними стандартами КСЗІ.

Жодна модель не змогла досягти 70% правильних відповідей. Найкращі результати показали: Gemini Pro - 67,5%; Claude 3.5 - 64,3%; Qwen2VL - 51,2%; GPT4o - 47%. Найбільше помилок виникало в завданнях зі складними візуально-текстовими елементами: моделі не впізнавали українські слова на зображеннях, плутали одиниці виміру, пропускали частину формулювань.

У категорії VQAUA (візуальні запитання з українською мовою) моделі показали такі показники: Claude - 26,7%, GPT4o - 29%, Qwen2VL - 34,4%. Це суттєво нижче від результатів англомовних тестів (>60%) і свідчить про слабку підтримку мультимодальних можливостей для української мови.

Офіційні дані ЗНО‑2021 в Україні показали те, скільки учасників успішно склали (тобто подолали порогові бали: "склав/не склав") предмети:

• Українська мова: 92,55 % склали (7,45 % не здали).
• Українська мова і література: 92,04 % склали (7,96 % не склали).
• Історія України: 82 % склали (18 % не склали).
• Біологія: 97,66 % склали (2,34 % не склали).
• Географія: 94,62 % склали (5,38 % не склали).
• Математика: 68,89 % склали (31,11 % не набрали порогового балу).

Як повідомляв "Укрінформ", 24 березня 2022 року Верховна Рада прийняла закон №7132, яким було скасовано проведення ДПА, ЗНО та єдиного вступного іспиту у зв’язку з повномасштабною війною. У результаті цих змін для випускників запровадили альтернативний формат – Національний мультипредметний тест (НМТ).

• 16 липня голова комітету Верховної Ради України з питань освіти, науки та інновацій Сергій Бабак повідомив, що результати основної сесії НМТ показали, що з українською мовою не впоралися 0,39% вступників, з історією України - 0,16%, з математикою - 11,73%. 
• 7 липня Міністерство освіти і науки озвучило результати НМТ-2025 - учасників, які отримали 200 балів, стало значно менше. 
• 4 червня стало відомо, що у "Дії" запустили тестування першого ШІ-сервісу.