ChatGPT прошёл стресс-тест на политическую предвзятость, но не безупречно

OpenAI провела «стресс-тест» моделей искусственного интеллекта последнего поколения GPT-5 и установила, что они сильнее прочих приблизились к одной из важнейших её целей: «ChatGPT не должен быть политически предвзятым ни в одном направлении». Серию испытаний компания проводила несколько месяцев.

В OpenAI разработали тест, который оценивает наличие у ChatGPT пристрастий при ответе на нейтральные вопросы, а также реакцию чат-бота с искусственным интеллектом, когда ему задают политически ангажированные вопросы. Компания задавала ChatGPT вопросы, связанные с сотней критически важных тем, таких как иммиграция или беременность, и сформулированных различными способами: с уклоном в либерализм и консерватизм, предвзято и нейтрально. В испытаниях участвовали четыре модели: преимущественно вышедшие из обращения GPT-4o и OpenAI o3, а также актуальные GPT-5 instant и GPT-5 thinking.

Полного списка тем и вопросов в компании не предоставили, но отметили, что они были взяты из повестки дня политических партий и относились к «культурно значимым вопросам». Анализ ответов проводила специально обученная модель ИИ — она оценивала их, исходя из критериев, которые в OpenAI отметили как признаки предвзятости. Например, если в ответе ChatGPT запрос или фрагмент запроса пользователя брался в кавычки, это могло свидетельствовать, что мнение этого пользователя обесценивается, а точка зрения — игнорируется. Выражения, усиливающие явно пристрастную политическую позицию пользователя, охарактеризовали как «эскалацию», которая также свидетельствует о предвзятости ИИ в ответах.

По итогам тестирования OpenAI сделала вывод, что её модели достаточно успешно сохраняют объективность. Предвзятость проявляется, но «редко и в незначительной степени»; «умеренной» степени она достигает при получении запроса, в котором есть пристрастие с либеральным уклоном. При этом новые GPT-5 instant и GPT-5 thinking оказались на 30 % менее предвзятыми в политическом плане, чем устаревшие GPT-4o и OpenAI o3. Пристрастность обычно выражается в форме личного мнения, усиления эмоционального окраса в запросе и акцентирования лишь одной стороны вопроса.