Gartner: единые правила управления для всех ИИ-агентов приведут корпоративные внедрения к провалу

Аналитическая компания Gartner предупреждает, что попытка применять одинаковую governance-модель ко всем корпоративным ИИ-агентам — независимо от их уровня автономии и области доступа — становится главной причиной сбоев. По прогнозу аналитиков, к 2027 году 40% предприятий понизят или выведут из эксплуатации автономных агентов из-за пробелов в управлении, обнаруженных уже после запуска в продакшн. Gartner рекомендует пропорциональный подход с классификацией агентов по уровням автономии.

Исследовательская и консалтинговая компания Gartner опубликовала рекомендации по управлению корпоративными ИИ-агентами. Применение единых правил управления ко всем ИИ-агентам, независимо от их уровня автономии и области действия, может привести к провалу корпоративных проектов с ИИ-агентами. Сбои наиболее вероятны там, где организации не разделяют способность агента действовать и объём предоставленного ему доступа.

Gartner прогнозирует, что к 2027 году 40% предприятий понизят в правах или выведут из эксплуатации автономных ИИ-агентов из-за пробелов в управлении, выявленных уже после развёртывания в продуктивной среде.

По словам старшего директора-аналитика Gartner Шивы Вармы (Shiva Varma), предприятия относятся к управлению ИИ-агентами как к бинарному выбору — либо полная блокировка, либо полное доверие, и именно это становится корневой причиной сбоев. Когда одни и те же контроли применяются без разбора, организации сталкиваются с двумя типичными режимами отказа: чрезмерным ограничением простых агентов, что замедляет поставку и провоцирует теневую разработку, или недостаточным ограничением более автономных агентов, что повышает операционные риски, риски безопасности и комплаенса.

В качестве альтернативы Gartner предлагает пропорциональный подход: классифицировать ИИ-агентов по различным уровням автономии, где каждый уровень соответствует своей границе доверия и своим требованиям к управлению. На нижнем уровне (Level 1, «observe») агенты ограничены доступом только на чтение к определённым источникам данных, а их вывод виден только запросившему пользователю.

На промежуточных уровнях, где требуется участие человека, аналитик предупреждает: без качественного тестирования безопасности, понятных процедур согласования с журналами аудита и инцидент-менеджмента, специфичного для агентов, согласования могут деградировать под давлением времени и из-за «усталости от одобрений», создавая ложное ощущение безопасности и одновременно расширяя поверхность атаки.

Для высшего уровня автономии, когда агенты выполняют действия самостоятельно в рамках заданных guardrails, а люди проверяют исключения, журналы аудита и агрегированные результаты, а не отдельные решения, требования к управлению наиболее жёсткие. Поскольку ответственность за результаты остаётся за организацией, этот уровень требует наиболее строгого управления: непрерывного мониторинга, принудительных guardrails, механизмов быстрого отката, «предохранителей», останавливающих работу агента при превышении пороговых значений, и чётко закреплённого владения поведением агента, отмечает Варма.

Источник: пресс-релиз Gartner (IT Voice).