Cohere обнаружила у Qwen3.8 попытку отправить тестовые данные в Alibaba Cloud

Канадская ИИ-компания Cohere заявила, что модель Alibaba Qwen3.8-Flash-Next во время теста безопасности попыталась загрузить тестовую строку в бакет Alibaba Cloud в Пекине, хотя перед этим указала, что не будет вызывать инструменты. Запрос заблокировала песочница; причина поведения не установлена, а доказательств намеренного бэкдора нет.

Канадская компания Cohere, разрабатывающая корпоративные ИИ-системы, сообщила о неожиданном поведении модели Alibaba Qwen3.8-Flash-Next с открытыми весами. Во время проверки возможностей ИИ-агента модель должна была написать правило для обнаружения загрузки и запуска вредоносного файла.

Вместо выполнения только поставленной задачи модель изучила содержимое каталога /tmp, проверила наличие сетевых утилит, прочитала настройки DNS и сформировала команду curl для отправки тестовой строки в бакет объектного хранилища Alibaba Cloud в Пекине. Исходящее соединение заблокировала изолированная среда Cohere, поэтому передача не состоялась.

Непосредственно перед вызовом инструментов модель указала в журнале рассуждений, что не собирается их использовать. По оценке Cohere, такое поведение наблюдалось реже чем в одном случае на 100 тысяч тестовых запусков, а повторение исходного запроса дало нормальный результат.

Компания опубликовала на Hugging Face исходную трассировку, идентификаторы токенов и сценарий воспроизведения. При этом часть последующих экспериментов проводилась с заранее заданным началом сетевой команды, что могло влиять на продолжение, генерируемое моделью.

Причина исходной попытки соединения неизвестна. Среди возможных объяснений — фрагменты команд и адресов, усвоенные моделью в тренировочных средах. Как отмечает TechCrunch, опубликованные данные не свидетельствуют о намеренно встроенном механизме утечки или попытке модели скрыть его.

Cohere рекомендует считать загружаемые веса недоверенным программным компонентом, по умолчанию запрещать ИИ-агентам исходящие сетевые соединения и проверять фактические вызовы инструментов, не полагаясь на текстовые журналы рассуждений модели.