GKE получил снимки состояния Pod для ускорения запуска ИИ-нагрузок

Google представила функцию GKE Pod snapshots, которая сохраняет состояние работающего Pod, включая память CPU и GPU, и восстанавливает его без повторной инициализации приложения. В тестах компании запуск модели с 70 млрд параметров занял 37 секунд, а модели с 8 млрд — 15 секунд; максимальное сокращение задержки составило 89%.

Google представила Pod snapshots для Google Kubernetes Engine (GKE) — управляемой платформы Kubernetes. Функция позволяет сохранить состояние работающего Pod, включая процессы, память CPU и GPU и изменения файловой системы, а затем использовать снимок для запуска новых реплик.

При развертывании модели ее веса достаточно загрузить в память один раз. GKE сохраняет полученное состояние в Cloud Storage, после чего новые реплики восстанавливаются из снимка и пропускают длительную инициализацию. По результатам тестов Google, время от запуска Pod до первого токена для модели с 70 млрд параметров сократилось с 330,5 до 36,6 секунды, а для модели с 8 млрд параметров — с 83,3 до 14,8 секунды.

Механизм также рассчитан на изолированные среды ИИ-агентов: неактивную песочницу можно приостановить, сохранив ее состояние, а позднее продолжить выполнение. Снимки настраиваются декларативно через пользовательские ресурсы Kubernetes — PodSnapshotStorageConfig и PodSnapshotPolicy. Поддерживаются триггеры со стороны приложения и ручной запуск, а также правила хранения снимков.

Функция доступна в режимах GKE Autopilot и Standard и требует GKE версии 1.35.3-gke.1234000 или новее, Workload Identity Federation и среды GKE Sandbox на базе gVisor. Постоянные тома не включаются в снимок, а внешние сетевые соединения при восстановлении закрываются. Поддержка GPU имеет ограничения, TPU пока не поддерживаются.

Подробности опубликованы в блоге Google Cloud и документации GKE.