Aleph Alpha выпустила германо-английскую модель Kolibri с открытыми весами

Немецкая компания Aleph Alpha выпустила двуязычную языковую модель Kolibri с архитектурой смеси экспертов: из 78,1 млрд параметров для каждого токена активируются 3,46 млрд. Веса опубликованы на Hugging Face по лицензии Apache 2.0, модель поддерживает контекст до 1 млн токенов.

Немецкая компания Aleph Alpha 3 октября выпустила Kolibri — языковую модель для работы с немецким и английским языками. Она построена по архитектуре смеси экспертов (Mixture-of-Experts, MoE), поддерживает рассуждения, программирование, вызов внешних инструментов и обработку длинных документов.

Kolibri содержит 78,1 млрд параметров, но для каждого токена использует 3,46 млрд, или 4,4%. Это сокращает вычислительную нагрузку, хотя все веса необходимо держать в памяти: версия в формате FP8 занимает около 78 ГБ. Модель обучалась с контекстом до 262 144 токенов, а работу с контекстом в 1 048 576 токенов разработчики проверили отдельно.

Веса Kolibri доступны по лицензии Apache 2.0. Предобучение прошло на 20 трлн токенов, доля немецкого языка составила 21,3%. Для обучения использовались 768 ускорителей Nvidia B200 в Германии и Финляндии; дополнительные сведения опубликованы в техническом отчёте.