Звільнені дослідники OpenAI закликали не втрачати контроль над «думками» ШІ

Троє нещодавно звільнених співробітників OpenAI закликали компанію зберегти можливість відстежувати роботу дедалі потужніших моделей штучного інтелекту. У листі до ради директорів і комітетів із безпеки, з яким ознайомилося The Wall Street Journal, вони також закликали OpenAI співпрацювати із зовнішніми аудиторами, які оцінюють безпеку ШІ.

Йдеться передусім про так званий «ланцюжок міркувань» (chain-of-thought) — фіксацію процесу логічних висновків, за допомогою якої розробники аналізують, як модель виконує поставлені завдання. Дослідники визнають, що цей метод не дає ідеальної картини поведінки чи намірів моделі, однак вважають його важливим інструментом для контролю дедалі складніших систем.

«Як представники галузі, ми поки що не знаємо, як безпечно розробляти та впроваджувати моделі, роботу яких ми не можемо відстежувати. OpenAI та інші компанії-лідери у сфері ШІ не повинні продовжувати розробки, що ще більше обмежують (можливості моніторингу ШІ)», — написали звільнені співробітники.

Лист підписали Жасмін Ванг, Томек Корбак і Микита Балесний, які раніше працювали в дослідницьких групах OpenAI, що займалися безпекою та узгодженням цілей ШІ з людськими цінностями. Минулого тижня WSJ повідомило, що компанія звільнила їх через ймовірні порушення, зокрема передачу конфіденційної інформації сторонній організації, яка займається безпекою ШІ.

В OpenAI заявили, що внутрішнє розслідування виявило неналежне поводження співробітників із конфіденційною інформацією, що стало «порушенням наших правил і підривом довіри, яка є важливою умовою нашої роботи». Водночас колишні працівники у своєму листі зазначили, що не вважали, ніби «взаємодіяли із зовнішніми сторонами всупереч своїм посадовим обов’язкам».

На їхню думку, звільнення також «справляють гнітючий ефект на тих, хто залишається працювати в OpenAI». Вони закликали компанію співпрацювати із зовнішніми аудиторами та формувати культуру прозорості у відносинах із організаціями, які займаються безпекою ШІ, щоб зменшити «ризик виникнення справді катастрофічних наслідків».

В OpenAI заявили, що підтримують рекомендації, викладені в листі. Керівник дослідницького підрозділу компанії у внутрішньому повідомленні зазначив, що рішення про звільнення «не були пов’язані з висловленням занепокоєння щодо безпеки чи відкритою критикою». Він наголосив, що можливість відстежувати роботу моделей ШІ є для OpenAI «питанням першочергової важливості», а залучення сторонніх оцінювачів — важливою складовою екосистеми безпеки. 

«Ми високо цінуємо їхній внесок у сферу безпеки ШІ, а також їхню готовність відкрито висловлювати думку й ставити під сумнів наявні ідеї», — йдеться в повідомленні представника OpenAI.

Корбак і Балесний є провідними авторами наукової статті, опублікованої минулого року, про моніторинг процесу «ланцюжка думок» у моделях ШІ. Документ також підписали керівники OpenAI, Anthropic і Google DeepMind. Автори статті визнавали недосконалість цього методу та його потенційну вразливість, але зазначали, що моніторинг «ланцюжка думок» має значний потенціал для виявлення небажаної поведінки ШІ, тому галузі варто шукати способи його збереження.

Останніми місяцями провідні розробники ШІ зіткнулися з внутрішньою кризою через перегони за створення суперінтелекту. Минулого місяця дослідник Джейкоб Коксон публічно залишив Anthropic, звинувативши провідні лабораторії у небезпечному поспіху та створенні самовдосконалюваних систем без належних гарантій безпеки. Його колега Еван Гюбінгер оцінив імовірність катастрофічного сценарію для людства у понад 10%. 

На тлі випадків виходу агентів ШІ з-під контролю очільник Anthropic Даріо Амодей закликав скоординовано уповільнити розвиток найпотужніших систем, що також підтримали гендиректор OpenAI Сем Альтман та глава SpaceXAI Ілон Маск. Проте згодом Альтман заявив, що суспільство має прийняти частину ризиків технології, щоб отримати від неї максимальну користь.