Baidu опубликовала базовую модель ERNIE 5.5 Flash на 280 млрд параметров

Baidu открыла веса языковой модели ERNIE 5.5 Flash Base с архитектурой «смесь экспертов»: при генерации каждого токена активируются 14 из 280 млрд параметров. Это контрольная точка после предварительного обучения, предназначенная для дальнейшей адаптации и настройки разработчиками.

Китайская компания Baidu выпустила ERNIE 5.5 Flash Base — базовую текстовую модель с разреженной архитектурой Mixture-of-Experts (MoE, «смесь экспертов»). Она содержит 280 млрд параметров, из которых для обработки каждого токена активируются 14 млрд.

Модель обучена с нуля на 33,5 трлн токенов. Максимальный контекст при предварительном обучении составлял 128 тысяч токенов, а при дополнительной настройке и инференсе поддерживается контекст до 1 млн токенов.

Опубликованная версия не проходила промежуточное и постобучение, включая инструкционную настройку. Baidu предлагает использовать её как основу для адаптации к предметным областям, обучения с подкреплением и исследований ИИ-агентов.

Веса модели доступны в форматах FP8 и BF16 по собственной лицензии ERNIE 5.5 Flash Base Model License v1.0. Для развёртывания Baidu подготовила инструкции для SGLang и vLLM; в последнем случае используется отдельный плагин компании.