Новые разделы!
ИИ, квантовые вычисления и много других интересных тем

Заходите в ЦИТадель!
Век живи — век учись

METR: быстрый прогресс ИИ усложняет надежную оценку рисков новых моделей

Некоммерческая исследовательская организация METR сообщила, что ведущие ИИ-модели быстро улучшают результаты на задачах, связанных с разработкой ИИ, а надежно измерять этот прогресс становится все труднее. Нынешние публичные оценки не позволяют исключить резкое ускорение ИИ-разработок в ближайшие годы, но стандартные тесты могут одновременно завышать реальные возможности систем.

Некоммерческая исследовательская организация METR, оценивающая возможности передовых ИИ-агентов, опубликовала обновленное исследование моделей вплоть до Opus 5.5 и GPT-6 Astra.

На задачах по программированию и оптимизации с четкими критериями успеха современные модели обычно сравниваются с квалифицированными специалистами или превосходят их. Однако при сравнении с большими группами профильных экспертов системы пока не всегда опережают лучших участников.

По оценке METR, временной горизонт — продолжительность задачи, которую модель способна выполнить с вероятностью 50%, — в исследованном наборе тестов удваивается примерно каждые 3,6 месяца. Простая экстраполяция дает 50-процентную вероятность выполнения 200-часовых задач к июлю 2027 года, но авторы подчеркивают высокую неопределенность такого прогноза.

При этом модели заметно хуже справляются с открытыми исследовательскими задачами без быстрой обратной связи и уступают экспертам в ситуациях, требующих самостоятельной оценки качества решения. METR также предупреждает, что распространенные контейнерные тесты могут завышать практические возможности ИИ, поскольку похожие среды используются разработчиками при обучении с подкреплением.

Организация не обнаружила уверенного ускорения или замедления общего прогресса публичных передовых моделей по своему сводному индексу. Тем не менее имеющихся данных, по ее мнению, недостаточно, чтобы исключить резкое ускорение ИИ-разработок, при котором люди не будут успевать оценивать связанные с новыми системами риски.

Источник: metr.org

Связь с редакцией