В бенчмарке GDPx ни один ИИ-агент не набрал больше 12%

SemiAnalysis протестировала ИИ-агентов на 206 сложных задачах в имитированных профессиональных средах. Лучший результат показал Claude Opus 5.5 — 12%, за ним следуют Gemini 4 Carbon с 10,9% и GPT-6 Astra с 9,6%.

Аналитическая компания SemiAnalysis представила бенчмарк GDPx для оценки ИИ-агентов при выполнении продолжительной профессиональной работы. Он включает 206 задач от 14 специализированных партнёров в 11 областях, среди которых разработка программного и аппаратного обеспечения, проектирование микросхем, кибербезопасность, биология, финансы, юриспруденция и материаловедение.

Агенты работают с профессиональными программами, запущенными сервисами и хранилищами из тысяч файлов. Стандартное ограничение времени составляет восемь часов. В итоговом рейтинге Claude Opus 5.5 набрал 12%, Gemini 4 Carbon — 10,9%, а GPT-6 Astra — 9,6%.

Эти показатели не означают, что модели полностью решили соответствующую долю заданий: методика GDPx сочетает бинарные и частичные оценки, усредняет три попытки и присваивает всем областям одинаковый вес. Кроме того, модели запускались в разных агентских оболочках — например, Claude Code, Codex и Antigravity, поэтому результаты отражают возможности не только самих моделей, но и окружающих их программных систем.