PrismML выпустила Bonsai 27B: 27-миллиардная модель помещается в память iPhone

PrismML представила Bonsai 27B — сжатую модель на базе Alibaba Qwen3.6-27B для локального запуска на устройствах. 1-битная версия занимает 3,9 ГБ для языковой части и, по заявлению компании, работает на iPhone 17 Pro Max; веса опубликованы под Apache 2.0.

PrismML, стартап, основанный командой исследователей Caltech, представил Bonsai 27B — сжатую 27-миллиардную модель на базе Alibaba Qwen3.6-27B для локального запуска на устройствах. Компания выпускает две версии: 1-битную с размером 3,9 ГБ для языковой части и тернарную, ориентированную на более высокое качество, с размером 5,9 ГБ.

В Bonsai 27B используются бинарные или тернарные веса с групповым FP16-масштабированием; PrismML утверждает, что низкая разрядность применяется по всей языковой сети, включая embeddings, attention, MLP и LM head. Модель поддерживает контекст до 262 тыс. токенов, мультимодальные сценарии, структурированные вызовы инструментов и агентные цепочки; для Apple-устройств заявлена поддержка MLX и MLX Swift, для NVIDIA GPU — CUDA.

По собственным тестам PrismML, 1-битная версия сохраняет около 90% результата FP16-базовой Qwen3.6-27B, а тернарная — около 95%; наиболее заметные потери приходятся на vision, instruction following и tool calling. На iPhone 17 Pro Max компания заявляет около 11 токенов в секунду при генерации и отмечает тепловые ограничения при длительной работе.

Веса опубликованы на Hugging Face под лицензией Apache 2.0; также доступны демо и технические материалы. Практический интерес релиза — в попытке перенести модели 27B-класса в локальные, офлайн и приватные сценарии, включая ассистентов и агентные приложения без обязательной отправки данных в облако.