Motor de tabla FileLog

• Suscribirse a archivos de registro.
• Procesar nuevos registros a medida que se añaden a los archivos de registro a los que se haya suscrito.

​

Crear una tabla

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
    ...
) ENGINE = FileLog('path_to_logs', 'format_name') SETTINGS
    [poll_timeout_ms = 0,]
    [poll_max_batch_size = 0,]
    [max_block_size = 0,]
    [max_threads = 0,]
    [poll_directory_watch_events_backoff_init = 500,]
    [poll_directory_watch_events_backoff_max = 32000,]
    [poll_directory_watch_events_backoff_factor = 2,]
    [handle_error_mode = 'default']

• path_to_logs – Ruta de los archivos de registro a los que suscribirse. Puede ser la ruta a un directorio con archivos de registro o a un único archivo de registro. Tenga en cuenta que ClickHouse solo permite rutas dentro del directorio user_files.
• format_name - Formato del registro. Tenga en cuenta que FileLog procesa cada línea de un archivo como un registro independiente y que no todos los formatos de datos son adecuados para ello.

• poll_timeout_ms - Tiempo de espera para una sola operación de sondeo del archivo de registro. Predeterminado: stream_poll_timeout_ms.
• poll_max_batch_size — Número máximo de registros que se pueden sondear en una sola operación. Predeterminado: max_block_size.
• max_block_size — Tamaño máximo del lote (en registros) para el sondeo. Predeterminado: max_insert_block_size.
• max_threads - Número máximo de hilos para analizar archivos; el valor predeterminado es 0, lo que significa que el número será max(1, physical_cpu_cores / 4).
• poll_directory_watch_events_backoff_init - Valor de espera inicial para el hilo de supervisión del directorio. Predeterminado: 500.
• poll_directory_watch_events_backoff_max - Valor de espera máximo para el hilo de supervisión del directorio. Predeterminado: 32000.
• poll_directory_watch_events_backoff_factor - Velocidad del backoff; de forma predeterminada, es exponencial. Predeterminado: 2.
• handle_error_mode — Cómo gestionar los errores del motor FileLog. Valores posibles: default (se lanzará una excepción si no se puede analizar un mensaje), stream (el mensaje de excepción y el mensaje sin procesar se guardarán en las columnas virtuales _error y _raw_message).

​

Descripción

1. Use el motor para crear una tabla FileLog y considérela un flujo de datos.
2. Cree una tabla con la estructura deseada.
3. Cree una vista materializada que convierta los datos del motor y los inserte en una tabla creada previamente.

CREATE TABLE logs (
    timestamp UInt64,
    level String,
    message String
  ) ENGINE = FileLog('user_files/my_app/app.log', 'JSONEachRow');

CREATE TABLE daily (
    day Date,
    level String,
    total UInt64
  ) ENGINE = SummingMergeTree
  PARTITION BY toYYYYMM(day)
  ORDER BY (day, level);

CREATE MATERIALIZED VIEW consumer TO daily
    AS SELECT toDate(toDateTime(timestamp)) AS day, level, count() AS total
    FROM logs GROUP BY day, level;

SELECT level, sum(total) FROM daily GROUP BY level;

DETACH TABLE consumer;
ATTACH TABLE consumer;

​

Columnas virtuales

• _filename - Nombre del archivo de registro. Tipo de dato: LowCardinality(String).
• _offset - Desplazamiento en el archivo de registro. Tipo de dato: UInt64.

• _raw_record - Registro sin procesar que no pudo analizarse correctamente. Tipo de dato: Nullable(String).
• _error - Mensaje de excepción que se produjo durante un análisis fallido. Tipo de dato: Nullable(String).

​

Durabilidad de los datos