Новый тест для искусственного интеллекта не проходит ни одна модель ИИ

Фонд Arc Prize Foundation выпустил новый тест для проверки способностей ИИ по сравнению с человеком под названием ARC-AGI-2 и объявил приз в $700 тысяч создателям первых пяти моделей, которые получат в этом тесте рейтинг в 85% или выше.

Информация опубликована на сайте фонда.

В отличие от других тестов, которые проверяют ИИ на специализированные знания или сверхточные вопросы, невозможные для людей, ARC-AGI-2 использует задания, простые для людей, но сложные для ИИ.

В тестах каждое задание решали как минимум 2 человека за 2 попытки (или меньше) в контролируемом исследовании с участием четырех сотен людей, поэтому каждая модель ИИ также получила всего две попытки.

Исследователи фонда обнаружили, что системам искусственного интеллекта трудно интерпретировать значение символов, которое выходит за пределы их визуального вида.

Системы пытались проверять симметрию, зеркальное отражение, трансформации и даже распознавали соединительные элементы, но не смогли определить значение самих символов.

Также ИИ тяжело дается выполнение заданий, которые требуют одновременного применения правил или применения нескольких правил, которые взаимодействуют между собой.

Если правила заданий должны изменяться в зависимости от контекста, современный искусственный интеллект тоже не справится с задачей.

Заметим, что несмотря на то, что каждые 2 человека в группах тестирования всегда вместе проходили тест полностью, средний результат для одного человека - 60%.

Cloudflare создала ИИ для обмана ботов, которые собирают информацию для ИИ.

net в Telegram и Whats.

me/korrespondentnet и Whats.