Компания OpenAI начала формировать команду для контроля за «сверхразумным» ИИ

Там считают, что системы с интеллектом, который превосходит человеческий, могут появиться в течение десятилетия.

Компания OpenAI начала формировать команду, которая будет разрабатывать способы управления и контроля «сверхразумных» системы искусственного интеллекта. Команда будет работать под руководством Ильи Суцкевера, главного научного сотрудника и одного из соучредителей компании, сообщает Techcrunch.

Суцкевер и Ян Лейке, руководитель группы согласования в OpenAI, считают, что ИИ с интеллектом, который превосходит человеческий, может появиться уже в течение десятилетия. И такой ИИ – когда он появится – не обязательно будет доброжелательным, поэтому необходимо исследовать способы его контроля и ограничений.

«В настоящее время у нас нет решения для управления потенциально сверхинтеллектуальным ИИ и предотвращения его выхода из-под контроля. Наши текущие методы согласования ИИ, такие как обучение с подкреплением на основе отзывов людей, основаны на способности людей контролировать ИИ. Но люди не смогут надежно контролировать системы ИИ, которые намного умнее нас», – заявили они.

Новая команда постарается решить эту проблему, разрабатывая «автоматизированного исследователя выравнивания на уровне человека». Идея состоит в том, что системы ИИ на основании обратной связи от человека могут помочь в оценке других таких систем.

Гипотеза OpenAI заключается в том, что ИИ может быстрее и лучше продвигать исследования по выравниванию, чем люди.

Разумеется, ни один метод не является идеальным. Руководители компании признаются, что использование ИИ для оценки может увеличить несоответствия, предубеждения или уязвимости в этом ИИ. И может оказаться, что самые сложные части проблемы выравнивания могут быть вообще не связаны с инженерией. Вместе с тем, они считают, что попробовать стоит.

Напомним, в конце марта более тысячи экспертов, среди которых основатель SpaceX и Tesla Илон Маск, один из основателей Apple Стив Возняк, Юваль Ной Харари и другие, подписали письмо, в котором призвали поставить на паузу разработку продвинутого искусственного интеллекта.