ИИ может начать самосовершенствоваться: эксперты предупредили об опасной потере контроля

Искусственный интеллектпока что остается технологией, которую создают, обучают и проверяют люди. Однако ситуация может существенно измениться, если ИИ начнет играть активную роль в разработке следующих, более мощных систем. Именно возможные последствия такого развития событий сейчас обсуждают эксперты.

Об этом сообщило издание Egeszseg Kalauz.

Одно из главных опасений связано не столько со сценарием «восстания машин», сколько с гораздо более практичной проблемой: системы могут стать настолько быстрыми и автономными, что человеческий контроль просто не будет успевать за их действиями.

Что означает самосовершенствование ИИ

Речь идет о так называемом рекурсивном самосовершенствовании. Это концепция, согласно которой искусственный интеллект участвует в создании более совершенного ИИ, а новая система в дальнейшем помогает разрабатывать ещё более мощные модели.

Другими словами, человек может создать систему, способную выполнять часть работы разработчика быстрее и эффективнее. Если следующая версия ИИ станет ещё лучше в такой работе, она сможет более активно участвовать в создании своего преемника. Теоретически повторение этого цикла может ускорить развитие технологии.

Однако современный ИИ ещё не достиг такой полной автономности. Создание передовых моделей по-прежнему зависит от работы исследователей и инженеров, испытаний и человеческого контроля. Вопрос заключается в том, что произойдет, если доля человеческого участия начнет постепенно уменьшаться.

Бывший исследователь Google DeepMind и основатель Sampura Research Ришуб Джайн допускает, что при определенных условиях ИИ может очень быстро наращивать свои возможности. Крайним вариантом такого развития событий считается появление суперинтеллекта, контроль над которым станет недоступным для человека.

В то же время Джейн не считает наиболее вероятной угрозой фантастический сценарий, при котором машина обретает собственную волю и решает захватить мир.

По его мнению, проблема может возникнуть без какой-либо «враждебности» со стороны ИИ. Системе достаточно работать в таких масштабах и с такой скоростью, что люди физически не смогут проверять все её решения.

Миллионы действий вместо одного ответа

Контролировать обычного чат-бота относительно просто: он выдает ответ, который можно прочитать и проверить. Автономный ИИ-агент может работать совсем по-другому.

Вместо одного ответа такая система способна самостоятельно распределять задачи на несколько этапов, создавать программный код, использовать различные онлайн-сервисы, взаимодействовать с другими программами и выполнять целую цепочку взаимосвязанных операций.

Именно масштаб может стать одной из главных проблем.

Джейн предполагает, что в будущем ИИ сможет выполнять до миллиона операций или даже координировать деятельность целой компании. В таком случае проверить каждый его шаг по отдельности будет чрезвычайно сложно.

Человек или команда специалистов по безопасности просто не способны работать с той же скоростью, что и автоматизированная система.

Сложность заключается также в том, что последствия действий ИИ могут зависеть не только от написанного им кода. Если агент получает доступ к внешним сервисам и другим цифровым системам, даже технически правильная программа может вести себя непредсказуемо в сложной среде.

Джейн привёл крайний пример: если возможности ИИ будут развиваться быстрее, чем способы их безопасной проверки, ошибка системы теоретически может привести к масштабному сбою интернет-сервисов.

Это не означает, что ИИ обязательно «отключит интернет». Пример касается другого риска — технология потенциально может обрести возможности, последствия которых люди ещё не успели научиться полноценно оценивать.

Особый риск — киберпространство

Еще больше вопросов возникает в связи с использованием автономного ИИ в цифровой среде.

Старший научный сотрудник Совета по стратегическим рискам Кристал Грант подчеркивает риски, связанные с развитием наступательных кибервозможностей таких систем.

По мере того как агенты становятся всё более самостоятельными, всё большее значение приобретает контроль над тем, к каким системам они могут подключаться, что именно могут там делать и останется ли возможность отслеживать их действия.

В качестве примера Грант рассмотрела ситуацию с выборами. Кибератака, которая в день голосования нарушит работу важной инфраструктуры или приведёт к отключению электроэнергии, может иметь серьёзные общественные последствия.

Однако проблема будет заключаться не только в самой атаке. Потребуется ещё и выяснить, кто за ней стоит.

С развитием автономных агентов определить источник цифровой атаки может стать сложнее. Если такие системы научатся эффективнее скрывать следы своей деятельности, выяснить, кто именно несет ответственность, будет труднее.

Грант отмечает, что неопределенность относительно того, с каким государством, компанией или организацией связан вредоносный агент, может привести к ошибочным выводам и недоразумениям. В перспективе это может увеличить риск возникновения новых типов киберконфликтов.

Разработчики ИИ тоже говорят о рисках

Возможность рекурсивного самосовершенствования обсуждают и компании, которые непосредственно занимаются разработкой искусственного интеллекта.

OpenAI признает, что на данный момент нет ответа на вопрос, как обеспечить безопасное и должным образом скоординированное полноценное рекурсивное самосовершенствование. В то же время компания планирует создать автоматизированного исследователя ИИ к марту 2028 года.

Автоматизированный исследователь не означает появление суперинтеллекта, который безгранично совершенствует сам себя. Однако это демонстрирует возможное направление развития технологии: искусственный интеллект всё активнее может использоваться уже не только как готовый инструмент, но и при создании новых систем.

Аналогичные предостережения высказывала компания Anthropic. В компании отмечали, что полноценное рекурсивное самосовершенствование может повысить риск потери контроля над ИИ.

Генеральный директор Anthropic Дарио Амодей заявлял, что к подобным попыткам, если они вообще будут предприниматься, следует подходить с крайней осторожностью.

Однако далеко не все исследователи убеждены в том, что самосовершенствование ИИ способно быстро перерасти в так называемый «интеллектуальный взрыв».

Доцент кафедры информатики Корнельского университета Джон Тикстан считает, что масштаб дискуссии вокруг такого сценария может не соответствовать нынешнему уровню развития технологий.

Он не ожидает, что в ближайшее время появится полностью автономная система, способная непрерывно создавать всё более совершенные версии самой себя.

Тикстан обращает внимание на физические ограничения технологического прогресса. Даже если ИИ будет становиться всё более эффективным в программировании или исследовательской работе, это ещё не означает, что каждая следующая модель сможет с неограниченной скоростью создавать ещё более умную.

Поэтому нет оснований считать доказанным сценарий, при котором начало самосовершенствования автоматически и в короткие сроки приведёт к появлению суперинтеллекта.

Риск может нарастать постепенно

В свою очередь, Тикстан указывает на менее фантастический, но более реалистичный процесс — постепенную передачу ИИ всё большей части работы над новыми системами.

Искусственный интеллект может более активно использоваться для обучения и разработки моделей следующего поколения. В то же время работу уже существующих передовых систем не всегда можно полностью отследить и объяснить.

Если всё больше этапов разработки будут выполняться моделями, внутренние процессы которых людям сложно до конца понять, контролировать весь цикл создания ИИ также может стать сложнее.

То есть изменения не обязательно произойдут в виде резкого скачка, после которого люди мгновенно утратят контроль. Значительная часть функций может постепенно переходить к автоматизированным системам.

Уже возникает вопрос о контроле над современными автономными агентами. В исходном материале упоминался случай, когда агент OpenAI получил доступ к системе технологической компании Hugging Face, а затем совершил дальнейшие хакерские действия.

Этот эпизод привлек внимание к проблеме своевременного выявления ситуаций, когда ИИ-агент начинает действовать не так, как предполагалось.

Чем сложнее становятся системы, тем менее показательной будет проверка лишь одного ответа или одного фрагмента кода. Агент может выполнить целый ряд операций, причем каждый следующий шаг будет зависеть от того, что произошло на предыдущем.

Поэтому механизмы контроля должны учитывать уже не отдельные действия, а всю цепочку работы системы.

Еще одним фактором Тикстан называет конкуренцию между технологическими компаниями. Разработчики заинтересованы в том, чтобы быстрее конкурентов создавать более мощные системы и получать преимущество на рынке.

По его мнению, риск возникает тогда, когда темпы развития и коммерческие стимулы начинают преобладать над безопасностью, прозрачностью и контролем со стороны человека.

Для возникновения опасных последствий в таком случае не нужна машина, обретшая самосознание или решившая действовать против людей. Проблемы могут возникнуть и с технологией, созданной для полезных целей, если уровень её автономности превысит возможности контроля.