«Передовым моделям нельзя доверять»: Microsoft запустила систему контроля за ИИ-агентами

Microsoft представила новые средства безопасности для контроля агентов искусственного интеллекта в корпоративных системах. Компания предупреждает, что автономные агенты могут представлять угрозу изнутри организации, даже если их используют сами сотрудники. В Microsoft подчеркивают, что передовым моделям искусственного интеллекта нельзя полностью доверять, передает TechCrunch.

Одним из главных нововведений стали Guardian Agents — инструмент для мониторинга поведения ИИ-агентов, который разрабатывается в рамках Project Perception. Microsoft представила этот проект в июне в ответ на развитие моделей и инструментов, способных выявлять и использовать уязвимости, в частности Mythos от Anthropic и Daybreak от OpenAI.

Изначально Project Perception предусматривал три типа агентов: «красные» имитируют действия хакеров, «синие» выявляют атаки и оценивают уязвимости, а «зеленые» помогают их устранять. Однако теперь Microsoft уделяет внимание также рискам, которые могут возникать в результате работы агентов, внедренных непосредственно в компаниях.

Ранее генеральный директор Microsoft Сатья Наделла призвал бизнес не полагаться исключительно на заверения разработчиков ИИ относительно безопасности их систем. В своём блоге он подчеркнул, что компании предоставляют агентам доступ к конфиденциальным данным и позволяют им выполнять важные действия от своего имени, поэтому должны самостоятельно контролировать их поведение.

«К сожалению, передовым моделям — независимо от их происхождения — нельзя доверять», — заявила руководитель направления безопасности Microsoft Хает Галлот и пояснила, что проблема заключается не обязательно в злонамеренности моделей или уязвимости к атакам, а в их непредсказуемости: их обучают выполнять задачи, но не обязательно соблюдать внутренние правила организации или действовать в соответствии со здравым смыслом.

Помимо Guardian Agents, Microsoft добавила в Microsoft Defender функцию обнаружения ИИ-агентов. Она может распознавать до 60 типов инструментов, в том числе Claude Code, Codex и OpenClaw, а другие новые средства позволяют ограничивать доступ агентов к данным и системам и изменять их права в зависимости от задачи.

Если агент пытается выполнить рискованное действие, система может запросить одобрение человека. Такой подход должен помочь компаниям контролировать автоматизированные инструменты независимо от того, кто их разработал.

Подобную концепцию поддерживают и другие технологические компании. Microsoft присоединилась к Open Agent Safety Platform от Nvidia, которая включает инструменты OpenShell и Sentry. Платформа предусматривает изоляцию агентов в защищенной среде, мониторинг их действий и возможность останавливать их на аппаратном уровне.