Сообщения о «непрозрачной рекурсии» в OpenAI Astra встревожили специалистов по безопасности ИИ

Будущая модель OpenAI Astra, по данным The Information, ограниченно использует recurrent depth — повторную обработку запроса в вычислительном цикле. Исследователи опасаются, что масштабирование подхода затруднит мониторинг цепочек рассуждений, хотя OpenAI заявляет о намерении сохранить такой контроль.

Будущая модель OpenAI Astra использует технику recurrent depth, также называемую «непрозрачной рекурсией», сообщило The Information. Как уточняет TechCrunch, пока речь идёт об ограниченном применении техники.

Обычные рассуждающие модели создают последовательную текстовую трассу — цепочку рассуждений, или chain of thought (CoT). Её можно анализировать, чтобы выявлять обман, обход ограничений и другие нежелательные действия. При непрозрачной рекурсии модель несколько раз обрабатывает запрос в цикле, оставляя меньше доступных для проверки текстовых следов.

Специалисты по безопасности ИИ опасаются, что дальнейшее масштабирование таких вычислений позволит моделям переносить значительную часть рассуждений в скрытое пространство. Бак Шлегерис, руководитель исследовательской организации Redwood Research, предупредил, что это может существенно снизить эффективность CoT-мониторинга.

В опубликованном 1 сентября описании мер защиты Astra OpenAI не упоминает recurrent depth, но заявляет, что модель получит дополнительный мониторинг цепочек рассуждений для обнаружения и остановки несанкционированных действий. Компания обещает раскрыть больше технических подробностей в системной карте Astra при запуске.