JudgeGPT с обучением судей увеличил число завершённых дел в Пакистане на 6,3%

В рандомизированном эксперименте участвовали 1559 судей из 118 судов Пакистана. Доступ к ИИ-помощнику заметно повысил производительность только вместе со специализированным обучением, а расчётная экономия достигла $38,5 на каждый вложенный доллар.

Исследователи из ETH Zurich, Имперского колледжа Лондона и Российской экономической школы провели масштабный полевой эксперимент с 1559 судьями, работавшими в 118 судах Пакистана. Участников разделили на группы, получившие JudgeGPT со специализированным обучением, тот же инструмент с общим курсом о технологиях и праве либо общий курс без доступа к ИИ.

При медиальной доле специально обученных судей в округе число завершённых дел выросло примерно на 1848 в год — на 6,3% относительно среднего показателя. Один лишь доступ к JudgeGPT без практического обучения дал значительно меньший эффект. Специализированный курс включал шесть 90-минутных занятий, практические задания и обучение проверке ответов модели.

JudgeGPT построен на моделях семейства GPT-4 и использует генерацию с дополненным поиском — RAG. База системы содержит 129 235 документов, включая судебные решения и законы Пакистана; ответы сопровождаются ссылками на найденные материалы. Обученные судьи применяли помощника в четыре раза активнее и чаще поручали ему редактирование и суммирование текстов, избегая открытых правовых вопросов с повышенным риском галлюцинаций.

По использованным в исследовании косвенным показателям качество работы не снизилось: частота апелляций немного сократилась, а читаемость, длина и число правовых аргументов в решениях существенно не изменились. Авторы приблизительно оценили экономию в $38,5 на каждый доллар расходов на JudgeGPT, сопоставив прирост производительности с затратами на найм дополнительных судей. При более консервативных допущениях оценка составляет не менее $10 на доллар.