OpenAI описала GPT-Red — внутреннюю модель для поиска prompt injection-уязвимостей

OpenAI опубликовала описание GPT-Red — внутренней LLM для автоматизированного редтиминга и поиска prompt injection-уязвимостей в агентных сценариях. Атаки GPT-Red использовались при обучении GPT-5.6 Sol; компания утверждает, что это заметно повысило устойчивость новой модели.

OpenAI описала GPT-Red — внутреннюю модель для автоматизированного red teaming: она ищет уязвимости LLM к prompt injection и генерирует атаки, которые затем используются при обучении защищающихся моделей. Prompt injection в этом контексте — попытка встроить вредоносные инструкции в сторонний контент, например письмо, веб-страницу, вывод инструмента или файл, чтобы агент выполнил действие, которого пользователь не запрашивал.

GPT-Red обучали с помощью self-play reinforcement learning: атакующая модель и набор защищающихся LLM одновременно улучшаются на сценариях, похожих на работу с браузером, локальными файлами и внешними инструментами. По данным OpenAI, на внутренней версии indirect prompt injection arena GPT-Red находила успешные атаки в 84% сценариев против GPT-5.1, тогда как человеческие редтимеры — в 13%.

OpenAI заявляет, что результаты GPT-Red напрямую использовались при обучении GPT-5.6 Sol. Компания утверждает, что у GPT-5.6 Sol в самом сложном внутреннем benchmark для direct prompt injection в шесть раз меньше сбоев, чем у лучшей production-модели компании четырёхмесячной давности, а доля срабатываний direct prompt injection от GPT-Red снижена до 0,05%.

В отдельном практическом тесте GPT-Red атаковала Vendy — агента Andon Labs, управляющего торговым автоматом: модель добилась изменения цены дорогого товара до $0,50, заказа товара дороже $100 с продажей за $0,50 и отмены заказа другого клиента. OpenAI сообщила, что уязвимости раскрыты, а новые защитные меры проходят тестирование; сам GPT-Red остаётся внутренним инструментом и не входит в пользовательские модели.