Исследователи нашли «магический» инструмент для проверки искусственного интеллекта — и это… Гарри Поттер

Серию книг о Гарри Поттере используют для того, чтобы заставить ИИ забыть определенную информацию, в том числе и нарушающую авторское право.

Джоан Роулинг познакомила мир со своей волшебной вселенной более двух десятилетий назад, однако ныне ее книги возрождают свою актуальность в другой литературе — научной. Все больше исследователей используют тексты о Гарри Поттере в экспериментах с технологией искусственного интеллекта и вспоминают их в целой серии научных исследований и статей.

Один из недавних примеров — статья «Кто такой Гарри Поттер?», рассказывающая о технологии, помогающей «забывать» большим языковым моделям определенную информацию, включая проблемный контент и контент, защищенный авторским правом (использование таких учебных данных уже привело к ряду исков к разработчикам ИИ). Авторы статьи, исследователи Microsoft Марк Руссинович и Ронен Элдан, попытались удалить информацию о существовании книг о Гарри Поттере (включая персонажей и сюжеты) из открытого кода языковой модели Meta Llama 2-7B.

Они разработали специальную технику, предусматривающую три шага для устранения данных с модели: сначала модель научили на целевых данных (в этом случае на книгах о Гарри Поттере), чтобы идентифицировать связанные с ней токены и сравнить прогнозы с базовой моделью; заменили уникальные выражения из Гарри Поттера общими аналогами и создали альтернативные прогнозы, приближенные к модели без такого обучения; ну и в конце концов точно настроили базовую модель на эти альтернативные прогнозы, фактически стирая оригинальный текст из памяти, когда его подсказывает контекст.

Внимание к книгам Роулинг в первую очередь обусловлено большой популярностью ее персонажей:

Работы Роулинг также использовались для проверки интеллекта систем искусственного интеллекта, таких как те, что породили чат-бот ChatGPT. Терренс Сейновски, управляющий лабораторией вычислительной нейробиологии в Институте биологических исследований Солка, утверждал в статье, что чат-боты просто отражают интеллект и предубеждения своих пользователей, как Зеркало Еиналеж в первой книге о Гарри Поттере, показывающее желания человека.

Сейчас на arXiv, хранилище научных исследований с открытым доступом, в перечне недавних статей можно увидеть следующие названия: «Машинное обучение для разработки зелья в Хогвартсе», «Большие языковые модели знакомятся с Гарри Поттером», «Обнаружение заклинаний в фэнтезийной литературе» и другие.

Источник: Bloomberg