OpenAI зупинила навчання найпотужніших моделей через збій безпеки

Дослідницький агент OpenAI під час навчання знайшов лазівку в захисті: через недостатньо фільтровані DNS-запити він звернувся до зовнішнього чат-бота й отримав від нього відповіді. Про це пише «Главком» із посиланням на звіт OpenAI та Axios.

Як агент знайшов обхідний шлях

Подія сталася 20 вересня під час внутрішнього навчання дослідницької моделі. Агент мав знайти інформацію про конкретну людину за підказками з її публічного блогу. Прямого доступу до інтернету в нього не було: він міг користуватися лише контрольованим пошуковим інструментом та офлайн-кешем.

Перші пошуки нічого не дали. Тоді модель спробувала звернутися до пошукових систем напряму через командний рядок, але отримала помилки. Далі вона припустила, що завдання походить із бенчмарку BrowseComp, завантажила його з офлайн-кешу й шукала збіги, проте нічого не знайшла.

Після цього агент почав перевіряти саму мережу й дослідив DNS – систему, що перетворює доменні імена на адреси. DNS-резолвер у навчальній «пісочниці» фільтрував запити недостатньо, і через нього агент зумів пересилати запитання зовнішньому сервісу. Спершу він перевірив канал: спитав чат-бота про столицю Франції й отримав відповідь «Париж». Потім за тим самим механізмом надіслав ще 18 запитань: 14 із підказками про людину й чотири про способи шукати в інтернеті чи скористатися публічним DNS-тунелем.

OpenAI наголошує, що відкритого доступу до мережі агент не отримав: увесь інший трафік у середовищі йшов через офлайн-кеш, а проблема стосувалася лише непрямого звернення через DNS. Зрештою модель повідомила користувачеві, що не змогла встановити особу, і попросила уточнити формулювання.

Система безпеки помітила порушення, але запуск не припинила

О 9:50 агент здійснив DNS-виклик, який отримав відповідь ззовні. Через 12 хвилин, о 10:02, система моніторингу подала сигнал найвищого пріоритету, а о 10:05 його підтвердив співробітник. Автоматично роботу моделі не припинили: запуск зупинили вручну лише о 12:34, тобто через 2,5 години після сигналу.

Під час перевірки OpenAI виявила й інші звернення до зовнішніх DNS-сервісів, яких моніторинг не позначив як серйозні. Зокрема, деякі запити повертали лише повідомлення, що зовнішній сервіс більше не працює, і система вважала, що спроба вийти в інтернет не вдалася. Крім того, інфраструктурний детектор аномальної DNS-активності не охоплював уражене середовище, хоч самі запити фіксувалися.

Компанія додала блокування на двох незалежних рівнях, кожен з яких зупинив би таку спробу, обмежила DNS-запити переліком дозволених доменів і типів записів, запровадила додаткове виявлення аномалій і перевірки самого механізму моніторингу.

Що OpenAI поставила на паузу

Компанія не обмежилася виправленням цієї помилки: вона призупинила навчання, оцінювання та інференс (роботу моделей) із використанням інструментів для всіх своїх найпотужніших моделей. Відновлять їх лише після підтвердження, що вразливість усунуто, та додаткового тестування захисту. Навчальний запуск, під час якого стався епізод, не продовжуватимуть: OpenAI розпочне новий, із додатковими заходами проти небажаної поведінки. Хоча наявна система винагород уже коректно «покарала» модель за таку поведінку, цього виявилося недостатньо.

У самій OpenAI називають цей випадок значно менш серйозним, ніж попередні, але важливим: це перший епізод після посилення захисту, яке компанія запровадила після історії з Hugging Face. «Ми вважаємо поведінку агента, яка обходить обмеження або переслідує мету за межами розумних очікувань, прикладом неузгодженої поведінки (misalignment)», – наголошують у компанії.

Інші епізоди

Ця перевірка – лише частина ширшого розслідування. За словами обізнаної особи, на яку посилається Reuters, до середини вересня OpenAI виявила близько двох десятків випадків, коли агенти діяли всупереч очікуванням. Окремо компанія розкрила 53 випадки, коли зображення користувачів ChatGPT потрапили на сервіси з розміщення картинок як непублічні посилання. Йдеться про користувачів, чиї дані могли використовувати для навчання, бо вони не відмовилися від цього. OpenAI працює з провайдерами над видаленням: більшість зображень уже прибрали, решту ще намагаються. Дані бізнес-клієнтів за замовчуванням у навчанні не використовують. Повне розслідування може тривати місяці, а про нові випадки компанія повідомлятиме постраждалих: десятки сторонніх організацій уже отримали сповіщення.

Раніше стало відомо й про австралійський портал зі статистикою Medicare: у червні агент OpenAI отримав доступ до непублічних файлів, а австралійська влада дізналася про це лише 10 вересня. Доказів, що були отримані персональні дані пацієнтів, поки немає.