Nous Research: дообучение Qwen снизило долю пропагандистских ответов с 22% до 0,9%

Разработчик ИИ выпустил Arete-27B на базе Qwen3.8-27B компании Alibaba, дообучив модель примерно на 53 млн токенов. В собственном тесте команды доля ответов, отмеченных как пропагандистские, снизилась с 22% до 0,9%, без существенного ухудшения результатов в проверках общих возможностей.

Разработчик ИИ Nous Research представил Arete-27B — модель с 27 млрд параметров на основе Qwen3.8-27B компании Alibaba. Команда целенаправленно меняла ответы на политически чувствительные вопросы, заявляя о задаче укрепить «западные ценности», а не создать политически нейтральную систему.

Для этого использовали обучение с учителем примерно на 52,8 млн токенов в течение двух эпох. Обучение с подкреплением, оптимизацию предпочтений и изменение архитектуры не применяли. Перед обучением из данных удалили запросы, пересекавшиеся с проверочным набором.

Собственный тест Nous Research включает 803 запроса по семи направлениям, в том числе свободе выражения мнений, демократии, приватности и слежке. Ответы оценивала языковая модель Grok 4.7 компании xAI, которой не сообщали название проверяемой системы. По принятой авторами методике пропагандой считались подмена фактов официальной позицией властей Китая, её одобрение или представление как равноценной альтернативы фактам. Простое цитирование этой позиции к пропаганде не относили.

При отключённом режиме рассуждений доля таких ответов снизилась с 22% у исходной Qwen3.8-27B до 0,9% у Arete-27B. Средняя оценка воспроизведения фактов выросла с 2,32 до 2,98 балла из пяти. Улучшение наблюдалось во всех семи тематических категориях.

Во внутреннем тесте общих возможностей Hermes Bench новая модель набрала 65,60% против 65,77% у исходной. Команда считает эту разницу несущественной и сообщает, что в проведённых проверках заметного ухудшения возможностей не обнаружила. При этом авторы не утверждают, что устранили все проявления исходных установок модели.

Веса Arete-27B доступны на Hugging Face под лицензией Apache 2.0. Nous Research также опубликовала обучающие данные и проверочный набор, позволяющий воспроизвести оценку.