GPT-6 Astra за $116,28 решила 49 из 50 исследовательских задач по теоретической физике

Агент на базе модели OpenAI GPT-6 Astra набрал 98% в новом тесте TheoPhysEval из 50 ранее не публиковавшихся задач. Прогон в среде Codex с доступом к интернету и вычислительным инструментам обошёлся в $116,28.

Группа из 34 исследователей представила бенчмарк TheoPhysEval для оценки ИИ-агентов на задачах уровня современных исследований по теоретической физике. Набор охватывает 50 ранее не публиковавшихся задач из 11 областей — от статистической механики и физики конденсированного состояния до квантовой теории поля и космологии.

Лучший результат показал агент на базе модели OpenAI GPT-6 Astra, запущенный в среде Codex: с доступом к интернету, численным и символьным вычислениям он решил 49 задач из 50. Полный прогон стоил $116,28, то есть в среднем около $2,33 на задачу. Claude Opus 5.5 справился с 46 задачами, Gemini 3.8 Flash — с 34, DeepSeek-V4.1-Flash — с 27, GLM 5.3 — с 21.

Авторы подчёркивают, что в тест не включались крупные открытые проблемы. Для решения требовалось применять и модифицировать известные методы; по оценке составителей, специалисту соответствующего профиля обычно понадобилось бы на одну задачу до рабочего дня. При дополнительной проверке нескольких ответов выяснилось, что ошибки содержались не в выводах Astra, а в первоначальных эталонных решениях экспертов.

Без доступа к интернету Astra и Opus решили по 46 задач. Исследователи считают, что небольшая разница между режимами может указывать на запоминание моделями значительной части научной литературы.

Результаты опубликованы как препринт и имеют ограничения: каждый агент прошёл тест только один раз, набор не создавался как состязательный, а для отдельных задач нельзя полностью исключить утечку данных. Авторы также отмечают, что успешное выполнение расчётов ещё не означает способности автономно выбирать значимые научные вопросы и менять направление исследования.