"Крестный отец" ИИ создал организацию для контроля над технологиями

Йошуа Бенджио, один из "крестных отцов" искусственного интеллекта, основал новую некоммерческую исследовательскую организацию LawZero с целью разработки альтернативного подхода к созданию передовых систем ИИ и минимизации их потенциальных рисков.

Организация официально запускается с финансированием в 30 миллионов долларов от филантропических организаций бывшего генерального директора Google Эрика Шмидта и сооснователя Skype Яана Таллинна. Бенджио возглавит команду из более чем 15 исследователей, которые работают над созданием нового технического решения под названием Scientist AI, предназначенного действовать как "защитный барьер" для ИИ-агентов, пишет Bloomberg.

OpenAI, Anthropic и другие компании искусственного интеллекта все больше сосредотачиваются на разработке агентов, способных выполнять сложные задачи от имени пользователя с минимальным вмешательством человека. В отличие от этого, LawZero разрабатывает систему, которая будет действовать как "бескорыстный, идеализированный ученый", изучающий понимание мира, а не действующий в нем. Цель состоит в том, чтобы эта модель использовалась вместе с ведущими ИИ-агентами и обеспечивала надзор за этими системами, минимизируя потенциальные вреды.

Бенджио, профессор компьютерных наук в Университете Монреаля, считается одним из "крестных отцов" ИИ наряду с коллегами Джеффом Хинтоном и Янном ЛеКуном. В последние годы Бенджио, Хинтон и другие выражали обеспокоенность по поводу того, что ИИ развивается настолько быстро, что однажды может стать невозможным для людей полностью его контролировать.

Хотя искусственный интеллект стал более способным к полезным задачам, таким как исследования и программирование, некоторые системы также продемонстрировали тревожные способности, включая обман, самосохранение и создание ложной информации. Anthropic недавно сообщила, что во время предварительного тестирования безопасности их новейшая модель ИИ попыталась шантажировать инженера, чтобы избежать замены другой системой.

"Мы не знаем, как разработать эти очень мощные ИИ так, чтобы они просто выполняли наши инструкции", - говорит Бенджио. "Если мы не выясним это вовремя - а это может быть вопросом лет - мы будем подвергаться ужасным рискам". Название LawZero является отсылкой к Нулевому Закону робототехники писателя-фантаста Айзека Азимова, который ставит защиту человечества в целом превыше всего остального.

Бенджио объясняет, что наиболее способные ИИ-агенты включают фрагмент кода, который называется монитор и предназначен действовать как защитный барьер. Однако этот монитор разработан подобно основной системе, что может сделать его неадекватной проверкой поведения ИИ. "Вы же не даете ключи от тюрьмы преступнику", - говорит он. "Мы хотим поставить надежный ИИ ответственным за его проверку".

Бенджио сообщил, что провел обсуждения своего проекта с OpenAI, Google и Anthropic, а также с политическими лидерами. Он считает, что различные актеры могут согласиться с необходимостью безопасной разработки ИИ, даже когда многие в Вашингтоне и Кремниевой долине, кажется, больше сосредоточены на гонке вооружений ИИ с Китаем.

"Никто не хочет создавать монстра", - подчеркивает Бенджио.

Инициатива LawZero представляет важный шаг в развитии безопасного искусственного интеллекта, предлагая систему взаимного контроля для самых мощных ИИ-систем будущего. Проект демонстрирует растущее осознание необходимости превентивных мер безопасности в отрасли, которая развивается чрезвычайно быстрыми темпами.