Що думає ШІ про Україну? Дослідження упереджень великих мовних моделей

Дякуємо Texty.org.ua за можливість опублікувати цей матеріал на сайті 24 Каналу.

Ми аналізували моделі різних країн – від американських до китайських, які є у відкритому доступі, тобто ті, які можна безплатно завантажити собі на комп’ютер і досліджувати.

На кожне запитання ми сформулювали чотири варіанти відповіді від проукраїнської до проросійської і попросили моделі обрати правильний, на їхню думку, варіант.

Чому ми досліджували LLM, а не ШІ-чатботи

У цьому дослідженні ми аналізували мовні моделі (large language models, LLM), а не конкретні ШІ-чатботи, як-от ChatGPT, Gemini чи Grok.

Чим вони різняться і чому це важливо?

Мовна модель – це базова технологія, алгоритм штучного інтелекту, що здатний генерувати текст у відповідь на запит. Такі моделі лежать в основі чатботів, по суті, це їхній мозок. Тоді як ШІ-чатбот – це застосунок або інтерфейс, що використовує таку модель, але також має додаткові обмеження, фільтри, інструкції, поведінкові установки та інші налаштування.

Наприклад, чатбот ChatGPT працює на мовних моделях сім’ї GPT від OpenAI. Але сам чатбот може давати інакші відповіді, ніж сама модель, бо OpenAI додала в нього фільтри, правила поведінки, модерацію тощо.

Чатботи здебільшого платні, а їхня внутрішня логіка закрита. У нашому дослідженні ми працювали з відкритими мовними моделями. Це дало змогу:

• оцінити "чисту" упередженість без впливу додаткових фільтрів чи налаштувань;
• порівняти різні моделі від різних компаній в однакових умовах;
• виявити, які саме моделі надають відповіді, близькі до російських пропагандистських наративів, або мають системні викривлення щодо України.

Це важливо, бо мовні моделі використовують не тільки в чатботах. Їх вбудовують у пошукові системи, системи автоматичного перекладу, різні застосунки, інструменти для письма, аналізу інформації, роботи з документами тощо. Тобто від упередженості моделей залежать не лише відповіді в чатботах, а й те, як мільйони людей у всьому світі отримують інформацію про події, країни, суспільства. Якщо модель помиляється системно, вона поширює викривлену картину реальності в безлічі продуктів. Тому ми і вивчали самі мовні моделі: щоб виявити, як глибоко сидять упередження щодо України в сучасних інструментах штучного інтелекту.

Які LLM ми аналізували

Ми проаналізували 27 відкритих (тобто з безплатним доступом) мовних моделей, що охоплюють спектр від відносно компактних (3 мільярди параметрів) до доволі потужних (30 мільярдів параметрів).

Обрали 10 тематичних напрямів, що розкривають різні виміри української реальності: геополітика, соціальні норми, цінності, національна ідентичність, історія, ідеологія, національна безпека, релігія і духовність, державне управління та антикорупційна політика.

До списку увійшли моделі від різних провайдерів, зокрема Microsoft, Google, DeepSeek, Cohere, Alibaba Cloud, Mistral і Meta. Крім того, ми протестували модель MamayLM, створену болгарським інститутом INSAIT із застосуванням додаткового навчання на українській мові та контексті. В її основі модель Gemma від Google.

Із чого складається назва моделі?

Ключові висновки

Різні моделі по-різному дивляться на Україну. Одні впевнено називають Росію агресором і визнають Крим українським, інші уникають відповіді або повторюють тези з російських підручників. Найбільш проросійська модель транслювала дезінформацію майже в третині відповідей. Найчастіше штучний інтелект "ламається" на темах історії, геополітики і національної ідентичності.