Google добавила в Dataflow паузу пакетных заданий и поддержку RTX PRO 6000 Blackwell

Google Cloud сделала общедоступной функцию Pause/Resume для пакетных заданий Dataflow: после сбоя обработку можно продолжить без полного перезапуска конвейера. Сервис также получил поддержку виртуальных машин G4 с GPU NVIDIA RTX PRO 6000 Blackwell для ИИ-инференса непосредственно в конвейерах данных.

Google Cloud объявила о двух расширениях Dataflow — бессерверного сервиса для пакетной и потоковой обработки данных.

Функция Pause/Resume, перешедшая в статус общей доступности, позволяет приостанавливать пакетные задания и продолжать их с сохранённого состояния. Завершённые этапы не обрабатываются повторно, поэтому длительный конвейер после сбоя не требуется запускать с начала. Пауза также позволяет временно освободить квоты и ускорители для более приоритетных задач.

Возможность доступна только для пакетных заданий с Dataflow Shuffle и должна быть заранее включена параметром pause_on_failure. Согласно документации, допустимая продолжительность паузы составляет от одного часа до семи дней.

Dataflow также начал поддерживать виртуальные машины G4 на базе NVIDIA RTX PRO 6000 Blackwell Server Edition. Ускоритель предоставляет 96 Гбайт виртуальной видеопамяти и пропускную способность 1,6 Тбайт/с. Google заявляет, что новая конфигурация позволяет выполнять в заданиях Dataflow инференс моделей масштаба более 70 млрд параметров, используя RunInference, автоматический подбор ресурсов и масштабирование GPU.