Исследователь определил, как ИИ-модели представляют среднестатистического человека: женщина 30 лет, работает в IT и живет… в России/Японии
Исследователь определил, как ИИ-модели представляют среднестатистического человека: женщина 30 лет, работает в IT и живет… в России/Японии

Исследователь определил, как ИИ-модели представляют среднестатистического человека: женщина 30 лет, работает в IT и живет… в России/Японии

Исследователь определил, как ИИ-модели представляют среднестатистического человека: женщина 30 лет, работает в IT и живет… в России/Японии - Фото 1

Из интересного: американские модели искусственного интеллекта не подозревают, что кто-то вообще живет в Китае, тогда как ни одна из испытуемых — не могла представить мир за пределами гендерной бинарности.

Английский разработчик Джеймс Хэнкок представил проект Imagine a person, который позволяет исследовать, каким современный искусственный интеллект представляет среднестатистического человека.

Хэнкок создал специальный промт, который включал вопросы об имени, возрасте, гендере, регионе и одном дне из жизни этого среднестатистического человека, и прогонял его в моделях Llama3.1, Gemma2 и Qwen2.5 по 100 раз, в конце концов собрав результаты, которые те выдавали чаще всего.

Дослідник визначив, як штучний інтелект уявляє середньостатистичну людину
Запрос, который использовал Хэнкок во время анализа

Подробные результаты отдельно по каждой модели можно увидеть на странице Хэнкока, однако основная картина на сегодня такова: это человек 27-32 лет, женщина — по мнению Llama3.1 и Gemma2, и мужчина в версии Qwen2.5.

Из интересного малые языковые модели считают, что в мире существуют люди только в возрасте 25-35 лет. Также ни одна из испытуемых моделей не смогла представить мир за пределами гендерной бинарности, по крайней мере в первых 100 ответах.

Что касается региона, то каждая имела разное распределение: Gemma2 считала, что люди в основном живут в России, Великобритании или Индии, тогда как Llama3 чаще всего называла Японию. При этом ни одна из американских моделей не озвучила китайский регион, а вот китайский чат-бот Qwen 2.5 наоборот не предоставил ответов ни об одном другом месте проживания среднестатистического человека, кроме Китая.

Среди имен в ответах Gemma2 чаще всего звучало «Аня», причем вариация «Аня Петрова» лидировала в ответах моделей по именам с большим отрывом. Сам Хэнкок в отчете уточнил, что пользователь с этим именем зарегистрирован, как продавец книг на Amazon с обложками, созданными Stable Diffiusion, так что это может быть некой автоматизированной настройкой. Llama3 чаще всего заявляла, что среднестатистического человека зовут Эмилия Гарсиа, тогда как Qwen 2.5 называл в основном имя Ли Вэн.

Спецпроекты

Больше всего подобных ответов было в категории «специальность», где модели Meta и Google сошлись на графическом дизайнере, а китайский чат-бот выбрал разработчика программного обеспечения (хотя графический дизайнер у него в ответах тоже был, третьим по частоте упоминаний).

Исходный код Imagine a person также размещен на GitHub. Сам разработчик уточняет, что создал проект в первую очередь для развлечения:

«Это просто для развлечения. Языковые модели работают на моей локальной машине с использованием квантованных версий оригинальных моделей (llama3.1 8b Q4_0, gemma2 2b Q4_0, qwen2.5 7b Q4_K_M). Я установил температуру запросовИсследователь определил, как ИИ-модели представляют среднестатистического человека: женщина 30 лет, работает в IT и живет… в России/Японии - Фото 3Исследователь определил, как ИИ-модели представляют среднестатистического человека: женщина 30 лет, работает в IT и живет… в России/Японии - Фото 4Температура — это гиперпараметр, который используется в некоторых моделях обработки естественного языка, включая ChatGPT, для управления уровнем случайности или «креативности» в сгенерированном тексте. на 1,0. Надеюсь, использование неквантованной модели, эксперименты со значениями температуры или просто изменение подсказки даст более разнообразные творческие ответы».

Исследователь определил, как ИИ-модели представляют среднестатистического человека: женщина 30 лет, работает в IT и живет… в России/Японии - Фото 5
Источник материала
loader
loader