Исследование 26,8 тыс. школьников связало генеративный ИИ с падением экзаменационных оценок

Авторы препринта на SSRN проанализировали 30 месяцев данных по 26 811 китайскому школьнику 7–12 классов. После начала использования генеративного ИИ домашние задания выполнялись быстрее и оценивались выше, но результаты экзаменов снижались; долгосрочный эффект на вступительных экзаменах полностью проявлялся примерно через два года.

Дэвид Стромберг, Виктор Лэй и Яньхуэй У опубликовали на SSRN препринт The Generative AI Learning Penalty: Evidence from Chinese Secondary Education о влиянии генеративного ИИ на учебные результаты школьников. Работа основана на 30 месяцах панельных данных по 26 811 учащемуся 7–12 классов в Китае: ежемесячных закрытых экзаменах, результатах вступительных экзаменов, оценках за домашние задания и времени их выполнения по девяти предметам.

По оценке авторов, после начала использования ИИ оценки за домашние задания выросли на 18%, а время их выполнения сократилось примерно на 30%. Одновременно результаты ежемесячных экзаменов снизились на 20% в течение шести месяцев, а на вступительных экзаменах падение составило 18–24%; полный эффект становился заметен примерно через два года.

Авторы связывают основные потери не с самим доступом к ИИ, а с заменой самостоятельной работы. Примерно у 80% пользователей они увидели признаки «аутсорсинга» домашних заданий: необычно короткое время выполнения при высоких оценках за задания и низких результатах на экзаменах. У тех, кто тратил на домашнюю работу примерно столько же времени, сколько не пользовавшиеся ИИ, потери были небольшими.

Работа важна для систем оценки знаний: генеративный ИИ может улучшать поверхностные метрики домашних заданий, одновременно ухудшая проверяемое знание. При этом это препринт, а не рандомизированный эксперимент: момент начала использования ИИ определялся по самоотчетам, а причинные оценки построены на сопоставлении учащихся, начавших пользоваться такими инструментами в разное время.