ClickHouse выпустила расширение chdb для импорта данных из облачных хранилищ в PostgreSQL

ClickHouse представила открытое расширение chdb, позволяющее PostgreSQL импортировать и экспортировать данные через COPY напрямую из S3, Google Cloud Storage, Azure Blob Storage и других источников. В собственном тесте компании chdb_hook опередил pg_lake, pg_duckdb и aws_s3 при загрузке набора NYC Taxi в нескольких форматах.

ClickHouse представила расширение chdb для PostgreSQL, использующее встраиваемый аналитический движок chDB. Исходный код опубликован под лицензией Apache 2.0.

Расширение предоставляет функцию chdb_query() для выполнения отдельных запросов chDB и модуль chdb_hook, дополняющий команды COPY и CREATE TABLE. Он позволяет читать и записывать данные в локальных файлах, AWS S3, Google Cloud Storage, Azure Blob Storage, HDFS и по HTTP. Поддерживаются CSV, TSV, Parquet, JSON, Iceberg и другие форматы, доступные в chDB.

Запросы выполняются во вспомогательном процессе, изолированном от основной памяти PostgreSQL: его сбой затрагивает только запустивший запрос сеанс. Расширению требуются PostgreSQL 15 или новее и библиотека chDB версии 26.7.0 или новее; пока поддерживаются Linux и macOS.

В опубликованном тесте на миллионе строк NYC Taxi расширение chdb_hook показало наименьшее время импорта во всех семи проверенных форматах. Результаты усреднены по трём запускам; тест проводила ClickHouse, а aws_s3 запускался на экземпляре AWS RDS другого типа, хотя всем системам выделили по 4 vCPU и 32 ГБ памяти.