Microsoft каже, що агенти штучного інтелекту стали схожі на внутрішні загрози

Microsoft представила нові функції безпеки , розроблені для захисту підприємств від зростаючої загрози, спричиненої агентами штучного інтелекту. Запуск відбувається на тлі того, що Microsoft продовжує попереджати підприємства про небезпеки, пов'язані зі штучним інтелектом та агентами.

Мабуть, найпомітнішим доповненням є Guardian Agents , нова функція, призначена для моніторингу агентів штучного інтелекту, які використовує компанія. Guardian Agents є частиною Project Perception, продукту, представленого в червні.

Project Perception був відповіддю Microsoft на потужні моделі хакерства, такі як Mythos та Fable від Anthropic, а також систему сканування вразливостей безпеки Daybreak від OpenAI. Project Perception спочатку запустив три класи агентів: «червону команду», яка діяла як хакери та атакувала, «синю команду», яка виявляла червону команду та оцінювала знайдені ними вразливості, і «зелену команду», якій було доручено їх виправити.

Продукт був розроблений з урахуванням припущення, що хакери зі штучним інтелектом прийдуть ззовні компанії. Але останнім часом генеральний директор Microsoft Сатья Наделла попереджає, що ворогом на основі штучного інтелекту можуть бути ті самі агенти, яких підприємства розгорнули та за яких платять, подібно до недобросовісного працівника-людини, також відомого як «внутрішня загроза».

Раніше цього місяця у своєму приватному блозі Наделла попередив, що настав час перестати довіряти постачальникам моделей штучного інтелекту, навіть якщо вони пропонують гарантії безпеки своїх агентних продуктів. Він хоче, щоб підприємства впровадили окремі системи, які не контролюватимуть лабораторії штучного інтелекту, для спостереження та контролю агентів, які запускають продукти цих лабораторій штучного інтелекту.

«Ми розгортаємо ці складні агентні системи та моделі, надаючи їм доступ до наших найчутливіших даних і надаючи їм можливість вживати критично важливих заходів від нашого імені!» — написав він. «Ми просто не можемо передавати на аутсорсинг відповідальність за те, що розвідка робить від нашого імені. Гарантії постачальника моделі не звільняють нас від цієї відповідальності. … Іншими словами, нам потрібно відокремити постачання розвідувальних даних від повноважень щодо них».

Оголошуючи про появу агентів Guardian, керівник відділу безпеки Microsoft Хаєт Галлот була ще прямолінійнішою: «На жаль, передовим моделям, незалежно від їхнього походження, не можна довіряти», – написала вона , додавши, що це не тому, що вони зловмисні чи легко піддаються зламу, а тому, що вони непередбачувані. Їх навчили виконувати завдання, а не дотримуватися «організаційних норм чи суджень».

Крім того, їм часто дають ключі від королівства, з доступом до даних та інструментів, які можуть завдати серйозної шкоди.

Рішення Microsoft є водночас дивовижним і егоїстичним. Дивовижним є те, що Microsoft, як відомо, близька до OpenAI та Anthropic, інвестуючи в обидві. OpenAI також є одним з її найбільших клієнтів у сфері хмарних технологій, а Microsoft має власну лабораторію штучного інтелекту, що розробляє моделі. Отже, Microsoft сіє недовіру до деяких своїх бізнес-інтересів.