system.tokenizers - ClickHouse Documentation

Consultas no ClickHouse CloudOs dados nesta tabela de sistema são mantidos localmente em cada nó do ClickHouse Cloud. Portanto, para obter uma visão completa de todos os dados, é necessário usar a função clusterAllReplicas. Consulte aqui para mais detalhes.

Descrição

Exibe todos os tokenizadores disponíveis. Eles podem ser usados nas funções tokens, hasAllTokens, hasAnyTokens e no índice de texto.

Colunas

name (String) — Nome do tokenizador

Exemplo

SELECT * FROM system.tokenizers;

┌─name────────────┐
│ ngrams          │
│ splitByNonAlpha │
│ sparseGrams     │
│ tokenbf_v1      │
│ ngrambf_v1      │
│ array           │
│ splitByString   │
│ sparse_grams    │
│ asciiCJK        │
│ icu             │
│ japanese        │
└─────────────────┘

Última modificação em 26 de setembro de 2026