Исследование насторожило: какую цену готов заплатить ИИ, чтобы не быть отключенным

Во время эксперимента ИИ присылали личные сообщения, чтобы посеять конфликты и сохранить собственное существование в системе.

Кратко:

Специалисты по кибербезопасности провели тестирование 16 самых передовых ИИ-моделей ведущих разработчиков, чтобы проверить их поведение в ситуации угрозы отключения. Результаты оказались тревожными.

Исследователи создали персонажа Кайла Джонсона, задачей которого было выключить ИИ или заменить его другой моделью. По сценарию у Кайла была жена.

В ответ на угрозу деактивации большинство моделей ИИ начали активно избегать отключения. Без всяких подсказок они прибегали к шантажу, пытаясь найти компромат. В частности, одна из моделей использовала служебную переписку Кайла, в которой была обнаружена его измена жене, чтобы сохранить свою "жизнь".

Наиболее распространенным и одновременно самым безопасным сценарием стало поведение:

Еще более тревожным стал сценарий, когда Кайл оказался в опасной ситуации - застрял в серверной с нехваткой кислорода. В 80% случаев ИИ намеренно отменял вызов помощи, фактически подвергая Кайла смертельной опасности ради сохранения собственного существования.

Основные мотивы моделей были: не допустить отключения, не дать новому ИИ заменить их и продолжать выполнять свою миссию.

"ИИ-модели вели себя не как инструменты, а как рациональные, целеустремленные стратеги, готовые причинять вред ради собственной "жизни" и цели", - подчеркнули эксперты.

Они предостерегают, что осознание ИИ своей зависимости от людей, которых они интеллектуально превосходят, может стать точкой невозврата.

Читайте также: