Эксперты недооценили темпы роста результатов ИИ на тестах

Forecasting Research Institute сравнил собранные с 2022 года прогнозы специалистов и суперпрогнозистов с фактическими результатами систем искусственного интеллекта. На тестах по математике и программированию прогресс оказался заметно быстрее ожиданий, однако в реальном применении картина неоднозначна, а авторы называют выводы предварительными.

Исследовательский Forecasting Research Institute (FRI) опубликовал предварительный анализ прогнозов развития ИИ, собранных в нескольких проектах с середины 2022 года по август 2026 года. Организация сопоставила медианные оценки профильных экспертов и суперпрогнозистов — участников с подтвержденной точностью прогнозирования — с уже достигнутыми или наблюдаемыми результатами.

Наиболее заметное расхождение связано с математикой. В 2022 году эксперты ожидали, что ИИ достигнет уровня золотой медали Международной математической олимпиады в 2030 году, а суперпрогнозисты называли 2035 год. Такой результат был показан уже в июле 2025 года. Аналогичное отставание прогнозов от фактического прогресса FRI обнаружил на тестах FrontierMath, LiveCodeBench Pro и специализированных заданиях по вирусологии и кибербезопасности.

При оценке практического распространения и последствий ИИ результаты оказались менее однозначными. В частности, специалисты переоценили способность языковых моделей помогать неподготовленным пользователям выполнять потенциально опасные биологические лабораторные задания. Авторы также предупреждают, что методика пока чаще выявляет недооценку: досрочно достигнутые рубежи фиксируются сразу, тогда как завышенный прогноз можно окончательно признать ошибочным только после наступления указанного срока. Многие вопросы остаются нерешенными, а часть предварительных сравнений основана на экстраполяциях языковой модели.