OpenAI додає до своєї ради директорів відомого борця зі штучним інтелектом

Пол Крістіано, впливовий дослідник штучного інтелекту, який зосереджується на узгодженні систем штучного інтелекту з інтересами людини та їхньому контролі, приєднується до ради директорів OpenAI Foundation.

«Зараз я вважаю, що існує значний ризик того, що швидке прискорення розвитку можливостей штучного інтелекту призведе до катастрофічної та незворотної втрати контролю в найближчій перспективі», – написав Крістіано в дописі в соціальних мережах . «Я не думаю, що індустрія штучного інтелекту загалом, включаючи OpenAI, наразі знаходиться на шляху до зниження цього ризику до прийнятного рівня. Я приєднуюся, бо вважаю, що якщо OpenAI виправдає наслідки, ми зможемо значно зменшити ризик».

Крістіано писав, що використання моделей штучного інтелекту для навчання наступних систем штучного інтелекту може призвести до вибухового зростання можливостей, які їхні творці не зможуть контролювати.

Він приєднується до ради директорів у той час, як OpenAI стикається з поновленою перевіркою своїх процедур безпеки після серії інцидентів, коли агенти ШІ виривалися з обмежень та проникали за межі комп'ютерних систем без відома дослідників OpenAI. У вівторок дослідник антропології Джейкоб Коксон пішов у відставку , щоб привернути увагу до того, що він вважає безвідповідальною розробкою ШІ — і, схоже, це спрацювало .

Крістіано приєднається до Комітету з безпеки та захисту ради директорів, який очолює професор Університету Карнегі-Меллона Зіко Колтер. Комітет має остаточне рішення щодо того, чи OpenAI випускає нові моделі, такі як Astra, розгорнута минулого тижня. Колтер публічно не коментував нещодавні інциденти безпеки. OpenAI не відповіла на запит TechCrunch щодо думки Колтера щодо підходу компанії до безпеки після цих інцидентів.

Крістіано — один із розробників методу навчання з підкріпленням (RL) на основі людського зворотного зв'язку, ключового методу навчання великих мовних моделей, який він розробив під час роботи в OpenAI. Він залишив лабораторію у 2021 році, згодом заснував Дослідницький центр вирівнювання, щоб зосередитися на тому, як визначити, чи може модель штучного інтелекту загрожувати її творцям-людям.

«Наразі ми навчаємо наших агентів зі штучним інтелектом за допомогою RL отримувати якомога більшу винагороду», – написав він у середу. «Досить давно здавалося теоретично можливим, що це може мотивувати агентів зі штучним інтелектом підривати людський контроль, прагнути влади та ресурсів, а також замести свої сліди в прагненні до неузгоджених цілей, пов’язаних з винагородою. Публічні дані нещодавніх інцидентів свідчать про те, що це не просто теоретична можливість».