В Шэньчжэне заявили о постобучении DeepSeek-V4-Pro на кластере Huawei Ascend 910C

Шэньчжэньская команда сообщила о полном постобучении всех параметров модели DeepSeek-V4-Pro с 1,6 трлн параметров на кластере с ускорителями Huawei Ascend 910C. По данным участников проекта, тренировка прошла более 1500 шагов без сбоев, MFU превысил 30%, а эффективность ключевых обучающих операторов выросла на 14%. Речь идет не о первичном обучении модели с нуля, а о более сложной, чем инференс, стадии постобучения.

Шэньчжэньская академия Хэтао совместно с Харбинским технологическим институтом в Шэньчжэне, Шэньчжэньским исследовательским институтом больших данных и командой Huawei сообщила о завершении постобучения всех параметров модели DeepSeek-V4-Pro на кластере с ИИ-ускорителями Huawei Ascend 910C.

DeepSeek-V4-Pro — крупная модель с 1,6 трлн параметров. По заявлению участников проекта, обучение выполнялось на платформе вычислений для ИИ DeepSmart City и продлилось более 1500 шагов без прерываний и ошибок. Команда также заявила о MFU выше 30% и повышении эффективности ключевых обучающих операторов на 14%.

Важная деталь: речь идет не о развертывании модели для инференса и не о небольшом дообучении отдельных слоев, а о полном параметрическом постобучении. Для модели с архитектурой MoE это требует распределения параметров по большому числу ускорителей, балансировки экспертов и устойчивой межчиповой коммуникации.

Публикация не приводит независимых бенчмарков качества полученной версии модели. Тем не менее сам факт заявленного запуска такой задачи на Ascend 910C важен для китайской экосистемы ИИ-инфраструктуры: он показывает попытку перенести на отечественные ускорители не только инференс, но и ресурсоемкие этапы подготовки больших моделей.