Moteur de table FileLog

• Vous abonner à des fichiers de log.
• Traiter les nouveaux enregistrements à mesure qu’ils sont ajoutés aux fichiers de log suivis.

​

Créer une table

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
    ...
) ENGINE = FileLog('path_to_logs', 'format_name') SETTINGS
    [poll_timeout_ms = 0,]
    [poll_max_batch_size = 0,]
    [max_block_size = 0,]
    [max_threads = 0,]
    [poll_directory_watch_events_backoff_init = 500,]
    [poll_directory_watch_events_backoff_max = 32000,]
    [poll_directory_watch_events_backoff_factor = 2,]
    [handle_error_mode = 'default']

• path_to_logs – Chemin des fichiers de log à suivre. Il peut s’agir du chemin vers un répertoire contenant des fichiers de log ou vers un seul fichier de log. Notez que ClickHouse n’autorise que les chemins situés dans le répertoire user_files.
• format_name - Format de l’enregistrement. Notez que FileLog traite chaque ligne d’un fichier comme un enregistrement distinct et que tous les formats de données ne s’y prêtent pas.

• poll_timeout_ms - Délai d’expiration d’une opération de poll unique sur le fichier de log. Par défaut : stream_poll_timeout_ms.
• poll_max_batch_size — Nombre maximal d’enregistrements récupérés lors d’une seule opération de poll. Par défaut : max_block_size.
• max_block_size — Taille maximale du lot (en enregistrements) pour le poll. Par défaut : max_insert_block_size.
• max_threads - Nombre maximal de threads pour analyser les fichiers. La valeur par défaut est 0, ce qui signifie que ce nombre sera égal à max(1, physical_cpu_cores / 4).
• poll_directory_watch_events_backoff_init - Temporisation initiale du thread de surveillance du répertoire. Par défaut : 500.
• poll_directory_watch_events_backoff_max - Temporisation maximale du thread de surveillance du répertoire. Par défaut : 32000.
• poll_directory_watch_events_backoff_factor - Vitesse du backoff, exponentielle par défaut. Par défaut : 2.
• handle_error_mode — Mode de gestion des erreurs du moteur FileLog. Valeurs possibles : default (une exception sera levée si l’analyse d’un message échoue), stream (le message d’exception et le message brut seront enregistrés dans les colonnes virtuelles _error et _raw_message).

​

Description

1. Utilisez le moteur pour créer une table FileLog et considérez-la comme un flux de données.
2. Créez une table avec la structure souhaitée.
3. Créez une vue matérialisée qui convertit les données du moteur et les insère dans une table créée précédemment.

CREATE TABLE logs (
    timestamp UInt64,
    level String,
    message String
  ) ENGINE = FileLog('user_files/my_app/app.log', 'JSONEachRow');

CREATE TABLE daily (
    day Date,
    level String,
    total UInt64
  ) ENGINE = SummingMergeTree
  PARTITION BY toYYYYMM(day)
  ORDER BY (day, level);

CREATE MATERIALIZED VIEW consumer TO daily
    AS SELECT toDate(toDateTime(timestamp)) AS day, level, count() AS total
    FROM logs GROUP BY day, level;

SELECT level, sum(total) FROM daily GROUP BY level;

DETACH TABLE consumer;
ATTACH TABLE consumer;

​

Colonnes virtuelles

• _filename - Nom du fichier de log. Type de données : LowCardinality(String).
• _offset - Décalage dans le fichier de log. Type de données : UInt64.

• _raw_record - Enregistrement brut qui n’a pas pu être analysé correctement. Type de données : Nullable(String).
• _error - Message d’exception survenu lors d’une erreur d’analyse. Type de données : Nullable(String).

​

Durabilité des données