Inkling-Small обошла старшую Inkling в ряде тестов, активируя в 3,4 раза меньше параметров

Thinking Machines Lab выпустила мультимодальную модель Inkling-Small с открытыми весами и контекстным окном до 1 млн токенов. Модель активирует 12 млрд параметров на токен против 41 млрд у старшей Inkling, но опережает её в нескольких тестах на программирование и логические рассуждения.

Компания Thinking Machines Lab представила Inkling-Small — мультимодальную модель с открытыми весами, принимающую текст, изображения и аудио. Разреженная архитектура Mixture-of-Experts (MoE, «смесь экспертов») содержит 276 млрд параметров, из которых для обработки каждого токена активируются 12 млрд.

По результатам тестирования разработчика, Inkling-Small получила 64,7% в Terminal-Bench 2.1 против 63,8% у Inkling, 31,6% против 29,7% в текстовой версии Humanity’s Last Exam и 80,2% против 77,6% в SWEBench Verified. При этом старшая модель с 41 млрд активных параметров сохраняет преимущество в полноте знаний и фактической точности.

Разработчики связывают прирост с изменениями в данных и методике обучения. Раннюю версию Inkling-Small дообучили с помощью on-policy-дистилляции, используя Inkling в роли учителя, а затем в течение двух недель применяли обучение с подкреплением на задачах агентного программирования.

Модель поддерживает контекст до 1 млн токенов и регулируемую глубину рассуждений. Полные веса опубликованы на Hugging Face по лицензии Apache 2.0; Inkling-Small также доступна для дообучения и работы через платформу Tinker.