Google и DeepMind предложили обучать поисковую стратегию ИИ-агентов на истории запусков

Метод Dream-RSI превращает историю поиска решений в симулятор, позволяющий проверять новые стратегии без повторных вызовов модели и оценщика. В экспериментах он сокращал число генераций до 2,43 раза или повышал результат при сопоставимом вычислительном бюджете.

Исследователи Google, Google DeepMind, Мэрилендского университета и Университета Виргинии представили Dream-RSI — метод улучшения поисковой стратегии ИИ-агентов с помощью повторного проигрывания истории выполненных задач.

Завершённый запуск сохраняется как дерево попыток, решений и полученных результатов. Альтернативные стратегии могут проходить по этому дереву в другом порядке, выбирать и отбрасывать другие ветви, не запуская заново модель и систему оценки. Авторы называют этот этап «сновидением»: лучшая из проверенных стратегий применяется в следующем реальном запуске, тогда как базовый ИИ-агент остаётся неизменным.

Dream-RSI испытали на восьми задачах из областей разработки алгоритмов, математической оптимизации и создания GPU-ядер. На задаче VGG16 метод достиг сопоставимого результата при сокращении числа генераций в 2,43 раза, а на ConvDiv повысил производительность в 2,09 раза при близком бюджете. В задаче оптимизации алгоритма Lasso вариант с Gemini 3.1 Pro использовал 317 вызовов агента против 550 у фиксированной поисковой стратегии.

Технический отчёт и интерактивная демонстрация уже опубликованы. В репозитории проекта указано, что полный исходный код и сценарии воспроизведения экспериментов пока готовятся к выпуску.