Немецкий консорциум Soofi опубликовал предварительную 30B-модель Soofi S

Немецкий консорциум Soofi выпустил Soofi S 30B-A3B — базовую языковую модель для немецкого и английского языков, обученную на инфраструктуре Deutsche Telekom в Мюнхене. Модель использует гибридную Mamba-Transformer/MoE-архитектуру: из 31,6 млрд параметров на токен активируются около 3,2 млрд. Веса доступны на Hugging Face как preview; это не готовый чат-ассистент, а база для дообучения и исследований.

Немецкий консорциум Soofi опубликовал pretraining report и предварительные веса базовой языковой модели Soofi S 30B-A3B. Проект координирует KI Bundesverband; среди участников — Fraunhofer IAIS, Fraunhofer IIS, Немецкий исследовательский центр искусственного интеллекта DFKI, TU Darmstadt, Университет Вюрцбурга, L3S Research Center, Berliner Hochschule für Technik, Ellamind и Merantix Momentum.

Soofi S — Mixture-of-Experts-модель с гибридной Mamba-Transformer-архитектурой. В отчете указаны 31,6 млрд параметров всего и около 3,2 млрд активных параметров на токен; модель обучалась с нуля примерно на 27 трлн токенов с повышенной долей немецкоязычных данных. Обучение проходило на Industrial AI Cloud Deutsche Telekom в Мюнхене.

Авторы сравнивают Soofi S с открытыми базовыми моделями, включая OLMo 3 32B и Apertus 70B, и заявляют лучшие агрегированные результаты среди полностью открытых моделей в немецких и английских тестах. Отдельно подчеркивается преимущество архитектуры при длинном контексте: из-за ограниченного использования KV-cache пропускная способность должна меньше падать с ростом длины входа.

Репозиторий модели на Hugging Face помечен как preview/internal checkpoint. Карточка указывает, что Soofi S Base не проходила instruction tuning, alignment или safety tuning и предназначена для исследований, доменной адаптации и дальнейшего post-training, а не для прямого использования как пользовательский ассистент.