Читатели выше оценили рассказы ChatGPT, но снижали баллы при маркировке ИИ

В трех экспериментах с 2587 участниками тексты ChatGPT оказалось невозможно надежно отличить от рассказов, написанных людьми. Сгенерированные истории получили более высокие оценки качества и вовлеченности, однако указание на авторство ИИ ухудшало восприятие любого текста.

Исследователи Виллановского университета опубликовали в журнале Judgment and Decision Making результаты трех экспериментов, посвященных восприятию художественных текстов, созданных генеративным искусственным интеллектом.

В первом эксперименте 1682 участника читали один из шести реалистических рассказов объемом около 1000 слов. Три текста были написаны людьми и ранее опубликованы в литературных изданиях или сборниках, еще три ChatGPT создал по заданиям со сходными темами и повествовательной перспективой. Рассказы ИИ получили среднюю оценку качества 1,54 балла против 0,97 у человеческих текстов по шкале от −3 до 3.

При этом на оценки влияла заявленная природа текста. Истории, представленные как написанные человеком, в среднем оценивались в 1,40 балла, а помеченные как созданные ChatGPT — в 1,12 балла независимо от их реального происхождения.

В двух последующих экспериментах 905 участников сравнивали человеческий и сгенерированный рассказ напрямую, но определяли их происхождение не лучше случайного выбора. Более высокая самооценка опыта работы с ИИ была связана с несколько большей точностью, тогда как опыт чтения и анализа художественной литературы не помогал. Авторы предупреждают, что выводы основаны всего на шести коротких реалистических рассказах и могут не распространяться на романы и другие жанры.