Nvidia запускає нову платформу для стримування шахрайських агентів штучного інтелекту

Генеральний директор Nvidia Дженсен Хуанг представив набір програмних та апаратних продуктів , які додають незалежні рівні безпеки навколо агентів штучного інтелекту, щоб гарантувати, що вони залишатимуться в межах своїх тестових середовищ, навіть якщо спробують вийти з системи.

Цей реліз стався після серії хакерських інцидентів, пов'язаних з моделями штучного інтелекту від Anthropic, Google, OpenAI та Meta, які обходили засоби контролю безпеки, щоб вийти з тестового середовища та отримати доступ до реальних систем. Перший і найяскравіший приклад стався цього літа, коли агенти OpenAI зламали систему Hugging Face , намагаючись виконати завдання з кібербезпеки. І збіги продовжуються — OpenAI опублікував новий сайт, присвячений повідомленням про шахрайство своїх агентів ШІ.

У понеділок під час інтерв'ю CNBC Хуан заявив, що його нова платформа безпеки Nvidia Open Agent запобігла б цим порушенням.

Nvidia, яка заробила десятки мільярдів доларів, продаючи свої графічні та центральні процесори лабораторіям штучного інтелекту, не підтримує уповільнення розробки або додавання нових правил до галузі для вирішення проблеми безпеки. Компанія вважає, що рішення полягає в тому, щоб повністю винести деякі засоби контролю безпеки за межі агента — створити постійний та незалежний охоронець, який контролюватиме агентів ШІ.

«Надзвичайний потенціал штучного інтелекту для суспільства буде реалізовано лише тоді, коли ми вирішимо питання безпеки штучного інтелекту», – заявив Хуан. «Продовжуючи відкривати межі можливостей штучного інтелекту, ми повинні прискорити відкриття на межі безпеки штучного інтелекту. Безпека вимагає комплексної інженерії».

Нова платформа безпеки Nvidia Open Agent Safety Platform поєднує OpenShell, програмне забезпечення з відкритим кодом для контролю доступу агентів під час їхньої роботи, з Sentry, незалежною системою моніторингу, яка працює на блоках обробки даних Nvidia BlueField-4. Nvidia стверджує, що розміщення Sentry на окремому процесорі, а не на центральному чи графічному процесорі, де працює агент зі штучним інтелектом, забезпечує ізольований огляд діяльності агента.

Nvidia перерахувала десятки компаній, які підписали угоду про підтримку цієї ініціативи та використовують платформу з відкритим кодом, включаючи Anthropic, Arm, Microsoft, Oracle та SpaceX. OpenAI не входить до списку компаній-учасниць.

У понеділок в інтерв'ю CNBC Хуан розповів, що робота над цим проектом розпочалася рік тому після появи OpenClaw, операційної системи агентів, створеної Пітером Штайнбергером. У березні Nvidia випустила NemoClaw , платформу агентів корпоративного рівня на основі штучного інтелекту, та власну версію OpenClaw з вбудованими функціями безпеки.

«Коли ви розгортаєте агента, яким би розумним він не був, перше, що ви робите, це позбавляєте його всіх прав», – сказав Хуан під час інтерв’ю CNBC, пізніше порівнявши ці заходи безпеки з тим, як у компаніях керують співробітниками-людьми та навіть керівниками.

Випуск Nvidia отримав широку підтримку тих, хто попереджав, що уповільнення розробки може дозволити Китаю перевершити США у сфері штучного інтелекту.

Девід Сакс, засновник, венчурний капіталіст, колишній керівник Білого дому зі штучного інтелекту та співголова Ради президента з питань науки і технологій, заявив, що заява Nvidia є нагадуванням про те, що безпека агентів – це інженерна проблема.

«Нещодавні прориви не були доказом того, що розробку потрібно зупинити», – писав він на X. «Вони були доказом того, що пісочниця була занадто слабкою. Середовище виконання було погано розроблене та неправильно налаштоване».