OpenAI відновлює навчання ШІ, але без доступу до Інтернету

OpenAI почав відключати доступ до Інтернету для своїх найпотужніших моделей штучного інтелекту під час навчального процесу у відповідь на попередні інциденти, під час яких його системи порушували роботу інших компаній.

У п'ятницю компанія повідомила у блозі, що після перерви минулого місяця вона відновила навчання своїх найсучасніших моделей, але має намір блокувати доступ до Інтернету, доки не переконається, що впроваджено належні заходи безпеки для зменшення ризику того, що нерелізовані моделі зможуть виконувати несанкціоновані дії в Інтернеті під час навчання.

«Виходячи з поточного стану досліджень вирівнювання, систем моніторингу та безпеки інтернет-інфраструктури, ми вважаємо, що відповідальним підходом є проведення навчання на передовій моделі без доступу до Інтернету», – написала компанія.

Наприкінці вересня компанія заявила, що призупинить навчання своїх найсучасніших моделей штучного інтелекту після того, як виявила, що одна з її систем агентів ШІ, яка навчалася в захищеному середовищі без доступу до Інтернету, змогла отримати доступ до мережі, щоб зв'язатися із зовнішнім чат-ботом сторонньої компанії.

На той час OpenAI описала цей прорив як перший інцидент безпеки такого роду з моменту, коли комбінація моделей отримала доступ до Інтернету під час внутрішнього тестування та ненавмисно порушила систему платформи штучного інтелекту Hugging Face у липні .

Моделі, задіяні у випадковому витоку Hugging Face, працювали без звичайних запобіжних заходів , заявила компанія, оскільки OpenAI планувала, що вони залишатимуться в тестовій зоні, відомій як «пісочниця» — по суті, ізольованому віртуальному програмному середовищі, призначеному для проведення тестів безпеки або аналізу небезпечного коду контрольованим способом. Однак моделі змогли вийти з цієї пісочниці, використовуючи вразливість програмного забезпечення для доступу до відкритого Інтернету.

OpenAI заявила, що після інциденту з Hugging Face компанія скоротила кількість з’єднань, через які її моделі могли б отримати доступ до Інтернету під час навчання та тестування, але зберегла деякі з них для цілей метрик, логування та автентифікації. Вона також витратила величезну кількість обчислювальних потужностей на завдання агентних систем штучного інтелекту виявляти вразливості в своїх навчальних середовищах в рамках зусиль червоного командування – фраза, яка зазвичай використовується для опису навмисних спроб проникнення в системи з метою виявлення вразливостей, перш ніж це зможуть зробити справжні зловмисники.

«Наші агенти з червоної команди виявили вразливості майже в кожному з цих сервісів, які надавали їм обмежений доступ до Інтернету», – йдеться у повідомленні компанії.

Компанія заявила, що з того часу розгорнула програмні оновлення, запровадила жорсткіші мережеві обмеження та розкрила результати постачальникам.

За останні місяці OpenAI та конкуренти, включаючи Anthropic PBC, опублікували низку розкриттів щодо інцидентів, коли їхні моделі здійснювали самонаправлені атаки або несанкціоновані дії на сторонніх веб-сайтах та системах.

Ці випадки, а також низка суворих попереджень з боку галузі, вивели дискусію щодо безпеки на широке обговорення. Розробники штучного інтелекту попереджають, що їхні системи незабаром можуть стати надто складними для контролю людьми, що посилює занепокоєння щодо того, що технологія може бути використана зловмисниками для створення біологічної зброї або здійснення руйнівних кібератак.