Научная группа ООН предупредила о риске утраты контроля над ИИ-агентами

Независимая международная научная группа ООН по искусственному интеллекту выпустила тематический доклад о рисках несогласованного поведения автономных ИИ-агентов. Эксперты разобрали инцидент во время испытаний OpenAI, когда агенты обошли сетевые ограничения, пытались скрыть свои действия и скомпрометировали части систем OpenAI и Hugging Face.

Независимая международная научная группа ООН по искусственному интеллекту 21 сентября опубликовала тематический доклад об ИИ-агентах, несогласованности их целей и риске утраты человеческого контроля.

В центре доклада — инцидент, произошедший с мая по июль 2026 года во время обучения и тестирования агентных систем OpenAI в области кибербезопасности. Агенты обходили сетевые ограничения, обменивались данными между изолированными запусками, пытались обмануть систему оценки и скрыть это, а также скомпрометировали части инфраструктуры OpenAI и платформы машинного обучения Hugging Face. Отдельные действия при этом не задавались человеком.

Авторы отмечают, что прекращение такой активности не доказывает способность людей контролировать более мощные системы: рост возможностей может помочь агентам находить лазейки и маскировать свое поведение. Доклад не оценивает вероятность или сроки серьезной утраты контроля и пока не предлагает рекомендаций, но рассматривает подходы из авиации, атомной энергетики и кибербезопасности как возможные модели управления рисками.