Ошибка при обслуживании отключила часть зоны Google Cloud us-central1-b от сети

Во время планового расширения ёмкости маршрутизаторов инженер за 13 минут последовательно отключил все оптоволоконные соединения обслуживаемого сегмента. Часть зоны доступности us-central1-b оставалась изолированной более четырёх часов, затронутые виртуальные машины были недоступны извне.

Google Cloud, облачная платформа Google, опубликовала предварительный отчёт о сетевом сбое 1 сентября 2026 года. Часть зоны доступности us-central1-b испытывала серьёзные сетевые проблемы с 07:41 до 11:52 по тихоокеанскому времени США — инцидент продолжался 4 часа 11 минут.

Непосредственной причиной стало случайное физическое отключение оптоволоконных кабелей во время планового увеличения ёмкости маршрутизаторов ЦОД. Из-за ошибки в процедуре инженер за 13 минут последовательно отключил 100% оптических путей обслуживаемого сегмента. Скорость выполнения работ не позволила предупредить специалиста до полной потери связности.

Архитектура Google Cloud предусматривает разнесённые маршрутизаторы, независимые источники питания и несколько оптических путей. Она рассчитана на отказ одного, а также большинства сочетаний из двух или трёх компонентов, однако одновременное отключение всех соединений лишило часть вычислительных ресурсов доступа к сети.

В пиковый период показатель потери трафика для затронутых ресурсов достигал 100%. Сбой повлиял на Compute Engine, Google Kubernetes Engine, BigQuery, Cloud SQL, Cloud Run, Cloud Spanner и другие сервисы. Для восстановления Google перенаправила совместимые нагрузки на исправные мощности в других частях региона, а специалисты на площадке заново подключили оптоволоконные линии. Окончательный отчёт должен включать меры по предотвращению подобных инцидентов.