Microsoft представила Guardian Agents для контроля корпоративных ИИ-агентов

Microsoft расширила Project Perception средствами наблюдения и ограничения ИИ-агентов, работающих с корпоративными данными и системами. Guardian Agents смогут оценивать риск в реальном времени, автоматически сокращать полномочия, запрашивать подтверждение человека или останавливать выполнение. Компания считает, что контроль безопасности должен работать независимо от самой ИИ-модели.

Microsoft расширила Project Perception набором сценариев защиты и Guardian Agents — специальных агентов, которые должны непрерывно отслеживать действия других ИИ-агентов, оценивать изменение риска и применять заданные организацией меры сдерживания.

Компания предлагает рассматривать корпоративных ИИ-агентов как новый класс внутренних субъектов риска. Такие системы получают доступ к данным, приложениям и инструментам, но могут ошибаться, подвергаться манипуляциям или менять поведение в зависимости от контекста. Поэтому полномочия агентов и решения об их дальнейшей работе должны контролироваться внешними механизмами, которые сама модель не может отключить или изменить.

В обновление входят Dynamic Permissions, Dynamic Agent Risk и Dynamic Conditional Access. Они позволяют назначить агенту отдельную идентичность и минимальные временные права, а при росте риска — запретить запись, ограничить доступ к ресурсам, потребовать подтверждение человека, изолировать среду исполнения или полностью остановить агента.

Средства Microsoft теперь могут обнаруживать 60 типов локальных агентов, включая Claude Code, OpenAI Codex и GitHub Copilot. Guardian Agents будут действовать в пределах установленных людьми политик и правил одобрения, анализируя причины изменения риска и рекомендуя либо автоматически применяя меры ограничения.