Генеративному ИИ не хватает понимания мира, он "глуп": что говорят ученые

Исследователи из Массачусетского технологического института обнаружили, генеративному искусственному интеллекту (GenAI) по-прежнему нельзя полностью доверять. Об этом пишет Interesting Engineering.

Исследование может иметь серьезные последствия для моделей генеративного ИИ, применяемых в реальном мире. Может показаться, что эти модели изучают некие общие истины о мире, но это не так. Ученые обнаружили, что популярный тип модели GenAI может предоставлять пошаговые инструкции по вождению в Нью-Йорке с почти идеальной точностью — без создания карты города. Однако когда исследователи закрыли некоторые улицы и добавили объезды, эффективность навигации большой языковой модели (БЯМ) существенно ухудшилась. В ходе расследования ученые обнаружили, что карта Нью-Йорка, созданная БЯМ, имела множество несуществующих улиц.

"Вопрос о том, изучают ли БЯМ когерентные модели мира, очень важен, если мы хотим использовать эти методы для совершения новых открытий", — сказали исследователи.

ИИ-модели обучаются на огромном объеме языковых данных, чтобы предсказывать, например, следующее слово в предложении. Однако когда дело доходит до определения того, сформировала ли БЯМ точную модель мира, измерения точности ее предсказаний недостаточно.

Команда разработала две новые метрики, которые могут проверить модель мира такой, какой ее "воспринимает" ИИ. Исследователи сосредоточили свои оценки на классе проблем DFA (DFA — это задача с последовательностью состояний, например, перекрестков, которые необходимо пересечь, чтобы достичь пункта назначения, и конкретным способом описания правил, которым необходимо следовать на этом пути).

В качестве примера выбрали две задачи: навигацию по улицам Нью-Йорка и настольную игру "Отелло". Исследователи обнаружили, что БЯМ, которые делали выбор случайным образом, формировали более точные модели мира.

Хотя они генерировали точные направления и правильные ходы "Отелло" почти в каждом случае, два показателя продемонстрировали, что только одна из моделей генерировала связную модель мира для ходов в игре. Затем исследователи продемонстрировали это, добавив объездные пути на карту Нью-Йорка, что привело к сбою навигации.

По мнению ученых, это показывает, что необходимо использовать другой подход, если они хотят создать БЯМ, способные воспроизводить точные модели мира.

"Часто мы видим, как ИИ-модели делают впечатляющие вещи, и думаем, что они что-то поняли о мире, но это не так", — добавили исследователи.

В будущем они планируют применить свои оценочные показатели к реальным научным проблемам.