system.tokenizers - ClickHouse Documentation

Consultas en ClickHouse CloudLos datos de esta tabla del sistema se almacenan localmente en cada nodo de ClickHouse Cloud. Por lo tanto, para obtener una vista completa de todos los datos, es necesario usar la función clusterAllReplicas. Consulta aquí para más detalles.

Descripción

Muestra todos los tokenizadores disponibles. Se pueden usar en las funciones tokens, hasAllTokens, hasAnyTokens y en el índice de texto.

Columnas

name (String) — Nombre del tokenizador

Ejemplo

SELECT * FROM system.tokenizers;

┌─name────────────┐
│ ngrams          │
│ splitByNonAlpha │
│ sparseGrams     │
│ tokenbf_v1      │
│ ngrambf_v1      │
│ array           │
│ splitByString   │
│ sparse_grams    │
│ asciiCJK        │
│ icu             │
│ japanese        │
└─────────────────┘

Última modificación el 26 de septiembre de 2026