Motor de tabla DeltaLake

Este motor proporciona una integración con tablas existentes de Delta Lake en S3 y en almacenamiento de GCP y Azure, y admite tanto lecturas como escrituras (escrituras para S3 y GCS desde la v25.10, para Azure desde la v26.9).

Crear una tabla DeltaLake

De forma predeterminada, la tabla Delta Lake ya debe existir en el almacenamiento de S3, GCP o Azure, y los siguientes comandos se conectan a ella sin definiciones DDL de columnas. Con allow_delta_lake_create_table = 1, un CREATE TABLE con columnas explícitas sobre una ubicación que no tiene _delta_log crea en su lugar una nueva tabla Delta Lake escribiendo el commit inicial a través de delta-kernel-rs (aún no se admite la creación de una tabla particionada) y, dentro de una base de datos DataLakeCatalog de Unity, la tabla también se registra en el catálogo.

S3
GCP
Azure

Sintaxis

CREATE TABLE table_name
ENGINE = DeltaLake(url, [aws_access_key_id, aws_secret_access_key,] [extra_credentials])

Parámetros del motor

url — URL del bucket con la ruta a la tabla Delta Lake existente.
aws_access_key_id, aws_secret_access_key - Credenciales a largo plazo del usuario de la cuenta de AWS. Puede usarlas para autenticar sus solicitudes. El parámetro es opcional. Si no se especifican credenciales, se usan las del archivo de configuración.
extra_credentials - Opcional. Se usa para pasar un role_arn para el acceso basado en roles en ClickHouse Cloud. Consulte Secure S3 para ver los pasos de configuración.

Los parámetros del motor pueden especificarse mediante colecciones con nombre.Ejemplo

CREATE TABLE deltalake
ENGINE = DeltaLake('http://mars-doc-test.s3.amazonaws.com/clickhouse-bucket-3/test_table/', 'ABC123', 'Abc+123')

Uso de colecciones con nombre:

<clickhouse>
    <named_collections>
        <deltalake_conf>
            <url>http://mars-doc-test.s3.amazonaws.com/clickhouse-bucket-3/</url>
            <access_key_id>ABC123</access_key_id>
            <secret_access_key>Abc+123</secret_access_key>
        </deltalake_conf>
    </named_collections>
</clickhouse>

CREATE TABLE deltalake
ENGINE = DeltaLake(deltalake_conf, filename = 'test_table')

Sintaxis

-- Uso de una URL HTTPS (recomendado)
CREATE TABLE table_name
ENGINE = DeltaLake('https://storage.googleapis.com/<bucket>/<path>/', '<access_key_id>', '<secret_access_key>')

No se admite un URI de gsutil como gs://clickhouse-docs-example-bucket; use una URL que comience por https://storage.googleapis.com

Argumentos

url — URL del bucket de GCS a la tabla Delta Lake. Debe usar el formato https://storage.googleapis.com/<bucket>/<path>/ (el endpoint de la API XML de GCS), o gs://<bucket>/<path>/, que se convierte automáticamente.
access_key_id — Clave de acceso de GCS. Créela a través de Google Cloud Console → Cloud Storage → Settings → Interoperability.
secret_access_key — Secreto de GCS.

Colecciones con nombreTambién puede usar colecciones con nombre. Por ejemplo:

CREATE NAMED COLLECTION gcs_creds AS
access_key_id = '<access_key>',
secret_access_key = '<secret>';

CREATE TABLE gcpDeltaLake
ENGINE = DeltaLake(gcs_creds, url = 'https://storage.googleapis.com/<bucket>/<path>')

Sintaxis

CREATE TABLE table_name
ENGINE = DeltaLake(connection_string|storage_account_url, container_name, blobpath, [account_name, account_key, format, compression])

Argumentos

connection_string — Cadena de conexión de Azure
storage_account_url — URL de la cuenta de almacenamiento de Azure (p. ej., https://account.blob.core.windows.net)
container_name — Nombre del contenedor de Azure
blobpath — Ruta a la tabla Delta Lake dentro del contenedor
account_name — Nombre de la cuenta de almacenamiento de Azure
account_key — Clave de la cuenta de almacenamiento de Azure

Escribir datos con una tabla DeltaLake

Una vez que haya creado una tabla con el motor de tabla DeltaLake, puede insertar datos en ella con:

SET allow_delta_lake_writes = 1;

INSERT INTO deltalake(id, firstname, lastname, gender, age)
VALUES (1, 'John', 'Smith', 'M', 32);

Las escrituras de Delta Lake son una funcionalidad Beta deshabilitada de forma predeterminada y deben habilitarse con SET allow_delta_lake_writes = 1; (disponible a partir de la versión 26.7; en versiones anteriores use SET allow_experimental_delta_lake_writes = 1;).

La escritura con el motor de tabla solo es compatible a través de delta kernel. Las escrituras funcionan en S3 y GCS, y en Azure a partir de la versión 26.9. La autenticación con Workload Identity de Azure (extra_credentials(client_id = ..., tenant_id = ...)) no es compatible con delta kernel.

Caché de datos

El motor de tabla DeltaLake y la función de tabla admiten la caché de datos, al igual que los almacenamientos S3, AzureBlobStorage y HDFS. Consulta “motor de tabla S3” para más detalles.

Véase también

función de tabla DeltaLake

Referencia de SQL

Tipos de datos

Motores

Funciones

Formatos

Configuración

Tablas del sistema

Lagos de datos

Crear una tabla DeltaLake

Escribir datos con una tabla DeltaLake

Caché de datos

Véase también

​Crear una tabla DeltaLake

​Escribir datos con una tabla DeltaLake

​Caché de datos

​Véase también

Crear una tabla DeltaLake

Escribir datos con una tabla DeltaLake

Caché de datos

Véase también