Authors Guild: AI-детекторы по-разному распознают тексты, написанные людьми

Американская Authors Guild проверила пять AI-детекторов на десяти собственных статьях, опубликованных до массового распространения генеративного ИИ. Pangram и Originality.ai почти не дали ложных срабатываний, тогда как Sidekicker.ai пометил все проверенные человеческие тексты как преимущественно сгенерированные ИИ.

Американская профессиональная организация писателей Authors Guild опубликовала результаты проверки пяти сервисов для определения AI-сгенерированного текста: ZeroGPT, Originality.ai, Sidekicker.ai, Grammarly и Pangram.

Для теста организация взяла десять своих статей, опубликованных в 2022 году или раньше, то есть до массовой доступности генеративных языковых моделей. Pangram присвоил всем десяти текстам 0% AI-содержания. Originality.ai дал 0% для восьми статей и 1% для двух. Grammarly также показал низкие значения: 0% для восьми материалов, 7% и 9% для двух остальных.

Результаты ZeroGPT оказались нестабильными: сервис оценивал долю AI-содержания в человеческих текстах от 5,3% до 76,3%, причем несколько материалов получили оценку выше 50%. Sidekicker.ai показал худший результат: все десять статей были отмечены как преимущественно AI-written, с оценками от 71% до 100%; две статьи получили 100%.

Authors Guild подчеркивает, что тест проверял прежде всего ложные срабатывания на человеческих текстах, а не способность детекторов находить реальные сгенерированные материалы. Организация предупреждает издателей и платформы, что такие инструменты не должны быть единственным основанием для решений о контракте, публикации или обвинении автора: профессионально отредактированная проза может статистически напоминать выход языковых моделей, поскольку сами модели обучались на похожих текстах.