Маск заявил, что SpaceX пишет C-стек для обучения ИИ под 220 тыс. Nvidia GB300

Илон Маск сообщил, что SpaceX почти завершила первую версию внутреннего стека для обучения ИИ, написанного на C и рассчитанного на кластер из 220 тыс. ускорителей Nvidia GB300. Заявленное преимущество перед JAX пока не подтверждено независимыми тестами или опубликованным техническим описанием.

Илон Маск сообщил, что SpaceX почти закончила V1.0 собственного стека для обучения моделей ИИ. По его словам, система написана на C, «точно отображается» на кластер из 220 тыс. ускорителей Nvidia GB300 с сетевыми интерфейсами 800G, использует pipeline parallelism и работает максимально близко к «железу».

Маск утверждает, что на крупных обучающих запусках потенциальный прирост скорости по сравнению с JAX, фреймворком Google для машинного обучения, может превышать порядок. При этом SpaceX не опубликовала бенчмарки, исходный код или подробное техническое описание, поэтому это пока стоит считать заявлением разработчика инфраструктуры, а не проверенным результатом.

В отдельном ответе в X Маск также написал, что следующим шагом станет C-стек для inference при параллельном RL на большом блоке GB300; по его словам, в проекте используется и «немного C++». Если такая инфраструктура будет применяться для следующих моделей Grok, ключевым здесь станет не сам выбор языка, а попытка заменить универсальные ML-фреймворки специализированным низкоуровневым стеком под конкретный GPU-кластер.