OpenAI раскрыла архитектуру 500-петабайтного хранилища Habitat для ChatGPT

OpenAI описала развитие платформы Habitat, которая обслуживает более 1 млрд пользователей в 40 регионах и хранит свыше 500 Пбайт данных. Переход к общей мультиарендной инфраструктуре, распределённому кешированию и Rust позволил сократить медианную задержку чтения примерно со 120 до 10 мс.

OpenAI рассказала об архитектуре Habitat — глобально распределённой платформы оперативного хранения данных для ChatGPT, API, Codex и внутренних сервисов. Система использует Azure Cosmos DB и должна отвечать за миллисекунды при работе с более чем 500 Пбайт данных.

Первоначально общие контейнеры Cosmos DB приводили к конфликтам ключей разделов и проблеме «шумных соседей», когда интенсивная нагрузка одного сервиса замедляла остальные. Выделенные контейнеры улучшили изоляцию, но потребовали от продуктовых команд самостоятельно планировать ресурсы и масштабировать базы перед запусками.

В результате OpenAI вернулась к мультиарендной модели по умолчанию. Совместно с командой Azure были внедрены ограничение нагрузки от наиболее активных ключей, приоритизация интерактивных запросов и улучшенный бессерверный режим Cosmos DB. Крупнейшая учётная запись Cosmos DB у компании хранит десятки петабайт и обрабатывает более 20 млн запросов в секунду.

Для снижения задержек критически важные наборы данных реплицируются в ближайшие регионы, а остальные запросы обслуживает распределённый кеш на базе Valkey. Его содержимое обновляется через механизм захвата изменений CDC, распространяющий инвалидации по регионам за несколько секунд. Дополнительный прирост производительности дала переработка сервисного слоя с Python на Rust.

Платформа CDC обрабатывает миллионы изменений в секунду, поступающих из тысяч контейнеров и миллионов разделов в более чем сто тем Apache Kafka. Для дальнейшего роста OpenAI также разрабатывает собственное хранилище эксабайтного масштаба на основе RocksDB Cloud и репликации по протоколу Raft.