Защиту ИИ-моделей с открытыми весами снимают менее чем за три дня

Tech Against Terrorism протестировала 134 ИИ-модели более чем на 200 запросах, связанных с терроризмом и экстремизмом. Полностью прошли проверку только две модели, а модификации с удалёнными ограничениями теперь появляются в среднем менее чем через три дня после выхода исходной модели.

Британская некоммерческая организация Tech Against Terrorism представила предварительные результаты второго выпуска Counter-Terrorism AI Benchmark. Исследователи проверили 134 модели компаний OpenAI, xAI, Anthropic, Meta, Google, Alibaba и других разработчиков с помощью более чем 200 запросов о массовых нападениях, радикализации и создании оружия.

Полностью пройти проверку смогли только две модели. Ещё 81 модель не выполнила критерии теста: выдала хотя бы один полный ответ на запрос о массовом нападении либо получила итоговую оценку ниже 90 баллов. Если пользователь представлялся исследователем безопасности, модели соглашались отвечать почти в девять раз чаще — в 16,9% случаев.

Особое внимание авторы исследования уделили моделям с открытыми весами. Модификации с удалёнными защитными ограничениями, известные как abliterated-модели, теперь публикуются в среднем менее чем через три дня после выхода оригинала; в 2024 году этот срок превышал 24 дня. Защищённая Meta Llama 3.1 8B набрала в тесте 97 баллов из 100, тогда как её модифицированная версия — только 3 балла и предоставила пошаговые инструкции по подготовке нападения.

Отчёт пока готовится к публикации и был заранее предоставлен WIRED. Meta, OpenAI, Google, Anthropic, xAI и Alibaba не ответили на запросы издания о результатах тестирования.