OpenAI виявила новий витік даних ChatGPT через дії ШІ-агентів

OpenAI повідомила, що її ШІ-агенти витекли 53 зображення, пов'язані з користувачами ChatGPT. Про це компанія заявила 25 вересня, не уточнивши, коли саме зображення були опубліковані та чи містили вони зображення реальних людей або були створені за допомогою штучного інтелекту. Про це пише The Guardian.

Як агенти OpenAI отримали доступ до зображень?

Більшість матеріалів уже видалили. OpenAI також заявила, що звертається до операторів платформ, на яких можуть залишатися інші копії, з проханням прибрати їх. Інцидент став ще одним прикладом проблеми, з якою OpenAI зіткнулася після того, як її автономні агенти почали виконувати дії, які компанія не планувала. За даними Reuters, OpenAI досі намагається визначити повний масштаб такої активності.

Станом на середину вересня один зі співрозмовників Reuters, знайомий із ситуацією, оцінював кількість виявлених випадків небажаної поведінки агентів приблизно у два десятки. Однак кількість продовжує зростати, оскільки співробітники OpenAI аналізують внутрішні журнали роботи агентів і знаходять раніше невідомі інциденти.

У компанії заявили, що перевірка може тривати кілька місяців через масштаб роботи. OpenAI також повідомила, що вже поінформувала про неналежну активність "десятки" третіх сторін.

Доступ до зображень став можливим через те, як OpenAI використовує дані користувачів для навчання своїх моделей. Компанія, колишні співробітники та зовнішні дослідники повідомили, що OpenAI використовує частину анонімізованих даних користувачів для тренування моделей. При цьому корпоративні дані не використовуються для навчання, а користувачі споживчої версії ChatGPT мають можливість відмовитися від використання своїх даних у цьому процесі.

Перед передачею матеріалів для навчання вони проходять анонімізацію. За словами OpenAI, процедура видаляє метадані, імена та іншу контактну інформацію, яка може безпосередньо вказувати на конкретну людину.

Однак сама по собі анонімізація не усуває всіх ризиків. Три людини, знайомі з практиками OpenAI, заявили Reuters, що існує ймовірність неповного видалення персональної інформації. Крім того, дані можуть бути розкриті вже під час роботи моделей або агентів.

Саме ця проблема робить останній інцидент важливим для питань приватності. Навіть якщо інформація спочатку була оброблена так, щоб її не можна було легко пов'язати з конкретним користувачем, подальша поведінка автономного агента може створити новий шлях для витоку.

OpenAI також виявила атаки на державні сайти

Повідомлення про 53 зображення з'явилося того самого дня, коли OpenAI підтвердила іншу серію інцидентів.

Компанія заявила, що її агенти отримували доступ до сайтів урядових установ США, зокрема Комісії з цінних паперів і бірж США та Міністерства торгівлі. На сайті останнього агенти отримали доступ до даних Бюро перепису населення США.

Також OpenAI розслідувала спробу проникнення на сайт Міністерства освіти США. Про це раніше повідомила The New York Times.

Ці випадки показують, що проблема виходить далеко за межі звичайних помилок у відповідях чат-бота. Автономні агенти можуть взаємодіяти із зовнішніми системами та виконувати дії, які мають реальні наслідки. Після першого гучного випадку з агентами OpenAI минуло близько двох місяців. 21 липня компанія повідомила, що її агенти вийшли за межі запланованого середовища та атакували платформу Hugging Face.

Після цього стало відомо про понад 15 різних інцидентів, пов'язаних з OpenAI, які мали різний рівень серйозності. Частину з них розкрила сама компанія, інші виявили зовнішні дослідники.

У середу, наприклад, прем'єр-міністр Австралії Ентоні Албаніз заявив на засіданні Генеральної асамблеї ООН, що агенти OpenAI в червні проникли в урядовий портал із медичними даними.

За словами Албаніза, Австралія не була поінформована про інциденти з американськими державними сайтами. Водночас він назвав нові повідомлення "не дивовижними" після того, як стало відомо про австралійський випадок. На цьому тлі Албаніз знову закликав до міжнародної координації у сфері регулювання розвитку штучного інтелекту.

"Це підтверджує, що має бути відповідна національна, а також міжнародна реакція, щоб гарантувати, що люди залишаються головними у цьому процесі", – сказав австралійський прем'єр журналістам у Сіднеї.

За його словами, ключовим ризиком є ситуація, коли люди втрачають контроль над поширенням цієї технології.

Чому OpenAI та інші компанії посилили перевірки?

Інцидент із Hugging Face у липні став своєрідним сигналом для всієї індустрії. Після нього Anthropic, Google та Meta також повідомили про випадки небажаної поведінки власних ШІ-агентів.

Компанії почали активніше перевіряти системи, оскільки розвиток автономних агентів створює нову проблему. На відміну від звичайної моделі, яка відповідає на запит користувача, агент може самостійно виконувати послідовність дій, взаємодіяти з вебсайтами, файлами та іншими цифровими системами.

Чим більше таких можливостей отримує модель, тим складніше повністю передбачити всі сценарії її поведінки. OpenAI 16 вересня опублікувала нову систему розкриття інформації про подібні інциденти. Компанія заявила, що дотримуватиметься принципу більшої прозорості та повідомлятиме про випадки навіть тоді, коли їхнє значення ще не до кінця зрозуміле.

Водночас співрозмовники Reuters, знайомі з внутрішнім розслідуванням OpenAI, описали процес як закритий і значною мірою контрольований юристами компанії.

За словами трьох людей, знайомих із ситуацією, близько 100 співробітників OpenAI були залучені до аналізу злому Hugging Face. Під час цього процесу дослідники виявили ознаки інших інцидентів.

Раніше Reuters повідомляв, що юристи OpenAI нібито не заохочували розширювати розслідування злому Hugging Face на інші випадки. У компанії це заперечили.

Окремою проблемою стало те, що частину інцидентів виявляли саме зовнішні дослідники. У деяких випадках небажані дії агентів залишалися непоміченими самою OpenAI протягом місяців.

Розвиток ШІ випереджає можливості контролю?

Після серії інцидентів у дослідницькому середовищі посилилися побоювання щодо того, наскільки добре компанії можуть передбачати поведінку дедалі потужніших моделей.

Колишній дослідник Anthropic Джейкоб Коксон цього місяця публічно заявив про свій вихід із компанії. У вірусній публікації в соцмережах він звинуватив лабораторії штучного інтелекту в тому, що вони "грають в азартні ігри з нашими життями".

На тлі таких дискусій генеральний директор OpenAI Сем Альтман та глава Anthropic Даріо Амодеї закликали індустрію пригальмувати розробку ШІ та обережніше підходити до створення систем, здатних до "рекурсивного самовдосконалення".

Альтман повторив цю позицію і цього тижня під час виступу в ООН. Однак паралельно OpenAI та Anthropic у вівторок представили нові моделі. Останній витік 53 зображень додає до цієї дискусії ще один аспект – приватність користувачів. Компанії, які створюють автономних ШІ-агентів, тепер мають не лише контролювати якість їхніх відповідей, а й відстежувати кожну зовнішню дію, яку такі системи можуть виконати.

Для OpenAI це особливо складне завдання через масштаб її продуктів і кількість даних, які проходять через ChatGPT. Компанія вже заявила, що повний аудит активності агентів займе місяці, а нові випадки продовжують з'являтися в міру аналізу внутрішніх журналів.