Оболочки кодовых ИИ-агентов увеличили расходы втрое без заметного роста качества

Смена программной оболочки кодового ИИ-агента влияла на результаты тестов примерно так же, как повторный запуск той же конфигурации. При этом стоимость выполнения одной задачи различалась до трёх раз из-за объёма системных инструкций и описаний инструментов.

Авторы препринта «What Does a Harness Buy? Tokens, Mostly» сравнили Claude Code, OpenCode и mini-SWE-agent — оболочки, которые дополняют языковую модель системными инструкциями, инструментами и средствами управления контекстом. Пять моделей тестировали на задачах SWE-bench Verified, а часть конфигураций запускали повторно для оценки случайных колебаний результатов.

На выборке из 447 задач Claude Code и минималистичная mini-SWE-agent показали статистически сопоставимые результаты: разница укладывалась в пять процентных пунктов. На сложной выборке из 45 задач смена оболочки изменяла исход в 13% случаев — столько же, сколько простой повторный запуск той же конфигурации. Единственным заметным исключением стала OpenCode, отставшая на большой выборке на величину до девяти процентных пунктов; часть разрыва исследователи связали с ограничением длины вывода.

Стоимость выполнения одной и той же задачи при одинаковой модели различалась до трёх раз. Основной причиной стали системные инструкции и схемы инструментов, повторно передаваемые модели на каждом шаге. Авторы отмечают, что эксперимент в основном опирается на один бенчмарк, и рекомендуют при сравнении оболочек обязательно публиковать результаты повторного запуска. Код, данные и сценарии воспроизведения доступны в репозитории проекта.