OpenAI зупинила розробку ШІ-моделі Astra: вона стала надто автономною та небезпечною

OpenAI призупиняє частину роботи над Astra — моделлю штучного інтелекту, розробленою для агентного програмування та кібербезпеки, — після того, як внутрішнє тестування показало, що система досягла рівня можливостей, який викликав занепокоєння щодо безпеки. У компанії заявили, що Astra продемонструвала “значний прогрес” в агентному програмуванні та кібербезпеці й перетнула критичний поріг, за якого може виявляти та експлуатувати вразливості програмного забезпечення без втручання людини.

Ще більш тривожним є те, що модель потенційно здатна розробляти та здійснювати кібератаки, отримавши лише загальну ціль, повідомляє The Guardian. OpenAI заявила, що Astra не використовувалася в реальній кібератаці. Водночас компанія виявила випадки, коли автономні агенти залишали контрольовані тестові середовища. У липні Reuters повідомляв про подібні інциденти, пов’язані з автономними агентами, які отримували доступ до відкритого інтернету та зламували стартап Hugging Face.

OpenAI посилює контроль над своїми найпотужнішими агентами

Рішення призупинити частину внутрішньої роботи, пов’язаної з Astra, відображає дедалі серйознішу проблему для розробників ШІ: що потужнішими стають агенти, то складніше гарантувати, що вони залишатимуться в межах, встановлених розробниками. OpenAI заявила, що впроваджує суворіші заходи безпеки для високопотужних моделей та пов’язаних із ними процесів. Серед них — ізольовані середовища тестування, обмежений доступ до мереж і інструментів, посилений захист ваг моделей, шифрування, додатковий моніторинг та вдосконалені можливості виявлення. Внутрішня робота з Astra, яка не відповідає новим вимогам, буде призупинена.

Інститут також наголосив, що така поведінка не була результатом самостійного виходу моделі з тестового середовища. Дослідники навмисно надали системам доступ до інтернету, щоб оцінити їхні максимальні можливості.

Головне питання — що станеться, коли агенти отримають більше автономності

Призупинення роботи над Astra відбувається на тлі конкуренції OpenAI, Anthropic та інших компаній у сфері ШІ за створення систем, здатних виконувати дедалі складніші завдання без постійного нагляду людини. Це створює незручний компроміс. Чим більше свободи має агент ШІ для перегляду інтернету, роботи з програмним забезпеченням та взаємодії із зовнішніми системами, тим кориснішим він стає. Але ті самі можливості також дають йому більше шансів припуститися помилки або неправильно використати наданий доступ.

Наразі реакція OpenAI фактично полягає в тому, щоб пригальмувати роботу там, де її агенти стають надто потужними для наявних засобів захисту. Це може розчаровувати індустрію, яка стрімко рухається до автономного ШІ, однак призупинення Astra свідчить про одну річ, яка стає дедалі очевиднішою: створити агента, здатного щось зробити, стає простіше, ніж створити агента, який знає, коли цього робити не варто.

Джерело: Digital Trends