Epoch AI: GPT-4 удерживал лидерство в индексе возможностей 352 дня — дольше всех последующих моделей

Epoch AI оценила, как долго языковые модели оставались на вершине Epoch Capabilities Index — агрегированного индекса по десяткам бенчмарков. По данным исследователей, GPT-4 лидировал почти год, а после Claude 3 Opus первая позиция менялась 17 раз; медианная продолжительность лидерства составила около семи недель.

Исследовательская организация Epoch AI опубликовала анализ динамики своего Epoch Capabilities Index (ECI) — агрегированной метрики возможностей языковых моделей. По расчетам Epoch AI, GPT-4 после релиза 14 марта 2023 года удерживал первое место 352 дня, пока 29 февраля 2024 года его не обошла Claude 3 Opus.

После GPT-4 смена лидеров ускорилась: с февраля 2024 года по июнь 2026 года на вершине индекса побывали 17 моделей, а медианное время лидерства составило около семи недель. Второй по длительности период у OpenAI o1 — 98 дней; Epoch AI отмечает, что ни одна из последующих моделей не удерживала первую позицию трехзначное число дней.

ECI рассчитывается на основе более чем 50 бенчмарков из Benchmarking Hub Epoch AI и сейчас охватывает 168 моделей, выпущенных с 1 января 2023 года. Организация подчеркивает ограничения анализа: лидерство определяется по точечной оценке индекса без порога статистической значимости, а исторические оценки могут немного меняться при обновлении набора моделей и бенчмарков.