Moonshot AI опубликовала веса Kimi K3 — модели на 2,8 трлн параметров

Китайская Moonshot AI опубликовала полные веса и технический отчет мультимодальной агентной модели Kimi K3. Модель с архитектурой Mixture-of-Experts насчитывает 2,8 трлн параметров, активирует 104 млрд параметров и поддерживает контекст до 1 млн токенов.

Китайская компания Moonshot AI 27 июля опубликовала веса Kimi K3 на Hugging Face и технический отчет на GitHub. Модель предназначена для программирования, рассуждений, работы с изображениями и выполнения длительных агентных задач.

Kimi K3 построена по архитектуре Mixture-of-Experts: из 896 экспертов для каждого токена выбираются 16, поэтому из 2,8 трлн параметров активируются 104 млрд. Модель использует механизмы Kimi Delta Attention и Attention Residuals, контекстное окно на 1 048 576 токенов, веса MXFP4 и активации MXFP8. Для локального развертывания заявлена поддержка vLLM, SGLang и TokenSpeed; Moonshot AI рекомендует конфигурации с 64 и более ускорителями.

В собственных тестах разработчика Kimi K3 приблизилась к закрытым Claude Fable 5 от Anthropic и GPT-5.6 Sol от OpenAI на ряде задач программирования и работы агентов. Эти результаты следует рассматривать как оценки вендора: предварительное независимое тестирование UK AISI и американского CAISI показало заметное отставание Kimi K3 от ведущих закрытых моделей в задачах разработки эксплойтов и имитации сетевых атак.

Веса распространяются по собственной лицензии Kimi K3, разрешающей использование, модификацию, распространение и дообучение. Для компаний, предоставляющих модель как сервис и получающих вместе с аффилированными структурами более $20 млн выручки за последовательные 12 месяцев, предусмотрено отдельное соглашение с Moonshot AI.