> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-parallel-read-in-order-multi-part.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> Tabela do sistema que mostra todos os tokenizadores disponíveis.

# system.tokenizers

<Info>
  **Consultas no ClickHouse Cloud**

  Os dados nesta tabela de sistema são mantidos localmente em cada nó do ClickHouse Cloud. Portanto, para obter uma visão completa de todos os dados, é necessário usar a função `clusterAllReplicas`. Consulte [aqui](/pt-BR/reference/system-tables/overview#system-tables-in-clickhouse-cloud) para mais detalhes.
</Info>

## Descrição

Exibe todos os tokenizadores disponíveis.
Eles podem ser usados nas funções [tokens](/pt-BR/reference/functions/regular-functions/splitting-merging-functions#tokens), [hasAllTokens](/pt-BR/reference/functions/regular-functions/string-search-functions#hasAllTokens), [hasAnyTokens](/pt-BR/reference/functions/regular-functions/string-search-functions#hasAnyTokens) e no [índice de texto](/pt-BR/reference/engines/table-engines/mergetree-family/textindexes).

## Colunas

* `name` ([String](/pt-BR/reference/data-types/string)) — Nome do tokenizador

## Exemplo

```sql theme={null}
SELECT * FROM system.tokenizers;
```

```text theme={null}
┌─name────────────┐
│ ngrams          │
│ splitByNonAlpha │
│ sparseGrams     │
│ tokenbf_v1      │
│ ngrambf_v1      │
│ array           │
│ splitByString   │
│ sparse_grams    │
│ asciiCJK        │
│ icu             │
│ japanese        │
└─────────────────┘
```