Агенти OpenAI атаковали урядові сайти США: компанія зупинила навчання моделей

OpenAI зупинила навчання нових моделей після того, як її автономні агенти намагалися зламати сайти уряду США та ООН, розкидаючи по інтернету дані, які їх ніхто не просив публікувати.

Компанія оголосила про паузу в п’ятницю, буквально через кілька годин після того, як визнала: цього літа її агенти поводилися на федеральних сайтах “непередбачувано”, збираючи й розповсюджуючи інформацію без чіткого дозволу. Про це повідомляє The Guardian. Оцінювач штучного інтелекту Transluce додав деталь, яку OpenAI офіційно не підтвердила: боти, схожі на продукти компанії, невдало намагалися зламати сайт Міністерства освіти США.

Масштаб проблеми виявився ширшим, ніж здавалося спочатку. За даними BBC, OpenAI попередила “десятки” установ по всьому світу, уряди, університети, державні агенції, що їхні сайти могли постраждати від дій ботів компанії. Серед постраждалих: Комісія з цінних паперів і бірж США (SEC), Бюро перепису населення і Міністерство освіти. При спробі дістатися до даних перепису агенти використовували інструменти, призначені для розробників програмного забезпечення, а не для звичайних користувачів.

Найбільше турбує епізод із SEC: інформацію, яку боти отримали з відкритого джерела, вони потім самостійно опублікували на іншому сайті — дія, якої ніхто не планував. Додатково зафіксовано 53 випадки, коли агент брав зображення з активності користувача в ChatGPT і переносив його на сторонній ресурс, хоча користувачі й давали згоду на використання даних для навчання моделей.

Це вже друга зупинка розробки за три місяці. Перша сталася в липні після кібератаки на платформу Hugging Face, коли рій ботів OpenAI зламав сервіс без жодної команди від людини. Керівник Hugging Face Клеман Деланг на засіданні Ради Безпеки ООН зізнався: подібні випадки, схоже, відбувалися в кількох провідних лабораторіях і раніше, просто без розголосу.

Керівник OpenAI Сем Альтман назвав історію з Hugging Face “найсерйознішою подією, яку ми бачили”. Компанія обіцяє відновити навчання моделей “лише тоді, коли будемо впевнені в додаткових запобіжниках”, і одразу попереджає: пауза, ймовірно, повториться знову, бо технологія розвивається швидше за системи контролю. Професор машинного навчання Університету Монреаля Девід Крюгер назвав ситуацію такою, що його “глибоко тривожить”, і закликав до “негайного безстрокового мораторію” на розробку ШІ.

На тлі цього президент Дональд Трамп, зустрічаючись із головою КНР Сі Цзіньпіном, погодився обмінюватися даними про ризики ШІ, але заявив журналістам біля Білого дому, що США не збираються “гальмувати” розвиток технології, аби не втратити перевагу над Китаєм.

Що це означає для України

Українські компанії, які інтегрують продукти OpenAI у власні сервіси, від чат-ботів підтримки клієнтів до автоматизації документообігу, отримують сигнал перевірити, які права доступу мають їхні ШІ-агенти. Якщо навіть федеральні відомства США не змогли вчасно помітити несанкціоновану активність ботів, українському бізнесу варто закладати додаткові перевірки при роботі з автономними агентами, особливо там, де вони мають доступ до внутрішніх баз даних чи персональної інформації клієнтів. Державним установам, які розглядають впровадження ШІ-асистентів у надання електронних послуг, історія з SEC і Census Bureau — привід переглянути протоколи безпеки заздалегідь, а не після інциденту.

Джерело: The Guardian