Боти, які збирають дані для штучного інтелекту, стали сповільнювати Вікіпедію

Запити на контент онлайн-енциклопедії Вікіпедія різко зросли через автоматизованих ботів, які збирають інформацію для великих мовних моделей (LMM). Це спричиняє навантаження на інфраструктуру, яка робить сайти Вікіпедії загальнодоступними. Про це повідомляє фонд Вікімедіа.

З січня 2024 року пропускна здатність Вікіпедії, яка використовується для завантаження мультимедійного вмісту, зросла на 50%. Таке зростання пов’язане не з людьми, які читають сайти онлайн-енциклопедії, а з автоматизованими програмами, які сканують каталог зображень Wikimedia Commons із відкритими ліцензіями, щоб передавати ці зображення ШІ-моделям.

«Наша інфраструктура побудована так, щоб витримувати раптові стрибки трафіку від користувачів щодо подій, які викликають значний інтерес. Однак обсяги трафіку, який генерують пошукові боти, є безпрецедентним і таким, що становить зростальні ризики та витрати», — повідомили у фонді.

Фахівці зʼясували, що приблизно 65% найбільш ресурсомістких запитів до центрів обробки даних Вікіпедії надходить від ботів. І наразі немає жодних ознак уповільнення цієї тенденції.

«У той час, як читачі-люди, як правило, зосереджуються на конкретних, часто схожих темах, пошукові боти схильні до “масового читання” більшої кількості сторінок. Також вони відвідують менш популярні сторінки. Це означає, що такі запити з більшою ймовірністю будуть перенаправлені до основного центру обробки даних, що робить їх набагато дорожчими з погляду споживання наших ресурсів», — пояснили у фонді Вікімедіа.

Нагадаємо, у 2023 році кількість статей в українській Вікіпедії сягнула понад 1,3 млн, так українська Вікіпедія посіла 14-те місце в світі серед усіх мовних версій інтернет-енциклопедії.

У Вікіпедії значно інтенсивніше висвітлюються події в економічно розвинених країнах, аніж у менш заможних. Такого висновку дійшла група дослідників під керівництвом Торстена Рупрехтера з австрійського Технологічного університету Граца.

Фото ілюстративне: Unsplash