OpenAI выявила четыре фактора, усложняющих контроль рассуждений ИИ

Исследователи OpenAI изучили, как предобучение, архитектура, обучение с подкреплением и синтетические данные влияют на наблюдаемость цепочек рассуждений моделей. Рост способности решать задачи без текстового «черновика» и управлять его содержанием может ослаблять мониторинг, хотя использованные показатели остаются косвенными.

OpenAI опубликовала исследование факторов, из-за которых цепочки рассуждений (Chain of Thought, CoT) передовых языковых моделей становятся менее пригодными для контроля. Такие текстовые «черновики» используются системами безопасности для обнаружения обмана, скрытого нарушения инструкций и других нежелательных действий.

Авторы оценивали два косвенных показателя: способность модели решать задачи без записанной цепочки рассуждений и возможность управлять содержанием CoT по инструкции. Первый показатель растет по мере улучшения базовой модели и снижения ее перплексии — ошибки предсказания текста. На некоторых задачах, требующих многоэтапных вычислений и планирования, дополнительное влияние оказывает выбранная архитектура.

Эксперименты также показали, что обучение с подкреплением повышает управляемость цепочки рассуждений даже без прямого вознаграждения за ее изменение. Доступ к инструментам и контроль их использования усиливали этот эффект незначительно. Кроме того, свойство передавалось следующему поколению моделей при тонкой настройке на данных, созданных более управляемой моделью.

Поводом для исследования стало снижение наблюдаемости рассуждений GPT-6 Astra по сравнению с предыдущими моделями. OpenAI подчеркивает, что применяемые показатели несовершенны: высокая управляемость CoT не всегда означает успешное уклонение от мониторинга. Большинство результатов об обходе контроля получено в тестах, где модель специально просили скрыть свои действия.