Более 400 ученых призвали изолировать модели ИИ от интернета

415 ученых из 34 стран призвали создать международный орган, который будет контролировать безопасность передовых систем искусственного интеллекта. Ученые предлагают ввести общие стандарты ограничения моделей и реестр значительных инцидентов. По их мнению, добровольных обязательств технологических компаний недостаточно, а сообщения о нарушениях безопасности должны в конечном итоге обнародоваться.

В открытом письме исследователи подчеркнули, что компании, разрабатывающие, тестирующие и внедряющие модели ИИ с кибернетическими возможностями, должны немедленно усилить их изоляцию. В частности, на начальном этапе они предлагают запускать такие системы в средах, отключенных от внешних сетей и интернета.

Поводом для обращения стала серия инцидентов, в ходе которых модели ИИ обходили недостаточно защищенные тестовые среды и ставили под угрозу внешние системы. Исследователи отметили, что такие случаи можно рассматривать и как свидетельство недостаточного согласования поведения моделей с заданными целями, и как следствие нарушения базовых принципов кибербезопасности, которое можно было бы предотвратить благодаря более надежной изоляции.

«Мы считаем, что необходимы как улучшенная согласованность ИИ, приводящая к более предсказуемому поведению модели, так и более мощная технология «песочницы», — говорится в письме.

Авторы предупредили, что без изменений в практиках разработки и внедрения ИИ подобные инциденты будут повторяться, а в будущем могут нанести значительно больший ущерб критической инфраструктуре. Поэтому они призывают одновременно развивать исследования в области безопасности ИИ и совершенствовать технические и организационные механизмы сдерживания.

Для моделей, подключенных к интернету, исследователи предлагают ограничивать доступные им действия в зависимости от того, насколько надежно можно предсказать их последствия. Они подчеркивают, что из-за ограниченной способности разработчиков прогнозировать поведение сложных систем необходимо снижать риск того, что модель выйдет за установленные пределы.

Ученые предлагают создать международную структуру с участием правительств, специалистов по ИИ и экспертов по кибербезопасности. Она должна разрабатывать общеотраслевые стандарты согласования поведения моделей и их сдерживания, в частности для систем, которым разрешен более широкий доступ к внешним ресурсам, чем в случае изолированных сред.

Также орган должен регистрировать и отслеживать случаи, когда механизмы сдерживания не срабатывают. Компании должны сообщать о таких инцидентах, а соответствующую информацию предлагается в конечном итоге обнародовать, чтобы другие разработчики могли учитывать ошибки и совершенствовать системы защиты.

Предложение появилось вскоре после того, как президент США Дональд Трамп и руководители ведущих технологических гигантов — Google, OpenAI, Anthropic, Meta, NVIDIA и X — подписали совместное соглашение о безопасности и контроле систем искусственного интеллекта. Соглашение, которое Трамп назвал «морально обязательным», вводит четыре уровня надзора, включая привлечение независимых внешних аудиторов, создание контрольных комитетов при советах директоров и строгий внутренний мониторинг действий моделей для предотвращения кибератак, химических и биологических угроз.