mysql

Permite executar consultas SELECT e INSERT em dados armazenados em um servidor MySQL remoto.

Sintaxe

mysql({host:port, database, table, user, password[, replace_query, on_duplicate_clause] | named_collection[, option=value [,..]]})

Argumentos

Argument	Descrição
`host:port`	Endereço do servidor MySQL.
`database`	Nome do banco de dados remoto.
`table`	Nome da tabela remota ou uma consulta passada ao MySQL como está (consulte Passando uma consulta em vez de um nome de tabela).
`user`	Usuário do MySQL.
`password`	Senha do usuário.
`replace_query`	Sinalizador que converte consultas `INSERT INTO` em `REPLACE INTO`. Valores possíveis: - `0` - A consulta é executada como `INSERT INTO`. - `1` - A consulta é executada como `REPLACE INTO`.
`on_duplicate_clause`	A expressão `ON DUPLICATE KEY on_duplicate_clause` adicionada à consulta `INSERT`. Ela só pode ser especificada com `replace_query = 0` (se você passar `replace_query = 1` e `on_duplicate_clause` ao mesmo tempo, o ClickHouse gerará uma exceção). Exemplo: `INSERT INTO t (c1,c2) VALUES ('a', 2) ON DUPLICATE KEY UPDATE c2 = c2 + 1;` Aqui, `on_duplicate_clause` é `UPDATE c2 = c2 + 1`. Consulte a documentação do MySQL para ver quais valores de `on_duplicate_clause` podem ser usados com a cláusula `ON DUPLICATE KEY`.

Os argumentos também podem ser passados usando coleções nomeadas. Nesse caso, host e port devem ser especificados separadamente. Essa abordagem é recomendada para ambientes de produção. Cláusulas WHERE simples, como =, !=, >, >=, <, <=, atualmente são executadas no servidor MySQL. O restante das condições e a restrição de amostragem LIMIT são executados no ClickHouse somente após a conclusão da consulta ao MySQL.

TLS/SSL

As credenciais de uma conexão criptografada com o MySQL são fornecidas como chaves de coleção nomeada (ou como argumentos de chave-valor):

Parâmetro	Descrição
`ssl_ca_pem`	Conteúdo do certificado de CA usado para verificar o certificado do servidor MySQL.
`ssl_cert_pem`	Conteúdo do certificado do cliente, para autenticação baseada em certificado.
`ssl_key_pem`	Conteúdo da chave privada associada a `ssl_cert_pem`.

Os valores correspondem ao conteúdo dos respectivos arquivos PEM, que pode ser copiado para uma coleção nomeada ou para uma consulta. Eles são mascarados nos logs e em consultas SHOW, da mesma forma que as senhas. As mesmas credenciais também podem ser fornecidas como caminhos para arquivos no servidor, em ssl_ca, ssl_cert e ssl_key — mas somente em uma coleção nomeada definida no arquivo de configuração do servidor, e esse valor não pode ser substituído em uma consulta. O servidor abre esses arquivos com seus próprios privilégios. Portanto, aceitar um caminho via SQL permitiria que qualquer usuário capaz de definir uma fonte MySQL sondasse o sistema de arquivos local e se autenticasse com um certificado e uma chave que não tem permissão para ler.

Passando uma consulta em vez de um nome de tabela

Em vez de um nome de tabela, o terceiro argumento pode ser uma consulta SELECT passada ao MySQL como está. A estrutura da tabela resultante é inferida a partir do resultado da consulta. A consulta pode ser escrita como uma subconsulta ou encapsulada na função query:

SELECT * FROM mysql('localhost:3306', 'test', (SELECT a, b FROM t1 JOIN t2 USING (id) WHERE a > 0), 'user', 'password');
SELECT * FROM mysql('localhost:3306', 'test', query('SELECT a, b FROM t1 JOIN t2 USING (id) WHERE a > 0'), 'user', 'password');

Isso é útil para executar junções, agregações ou qualquer outro processamento no MySQL. Essa tabela é somente leitura: não é permitido fazer INSERT nela. A mesma sintaxe é compatível com o motor de tabela MySQL.

A forma de subconsulta (SELECT ...) é analisada pelo ClickHouse e reserializada no dialeto do MySQL (identificadores entre crases) antes de ser enviada ao servidor. Portanto, ela deve ser um SQL válido do ClickHouse. Para passar sintaxe específica do MySQL que o ClickHouse não analisa, use a forma query('...'), cujo texto é enviado ao MySQL literalmente.Qualquer WHERE, LIMIT, agregação etc. externo da consulta ClickHouse circundante não é enviado para execução na consulta fornecida — ele é aplicado no ClickHouse depois que todo o resultado da consulta é obtido. Para restringir os dados lidos do MySQL, coloque o filtro dentro da consulta fornecida. Com external_table_strict_query = 1, um filtro externo sobre as colunas da função de tabela é rejeitado com uma exceção, em vez de ser aplicado localmente, porque ele não pode ser enviado para a consulta fornecida. A verificação abrange o predicado WHERE de nível superior e cada conjunção de um AND de nível superior. Um PREWHERE sobre as colunas desta tabela não é um caso para essa configuração: este motor de tabela não é compatível com PREWHERE, e tal consulta é rejeitada com ILLEGAL_PREWHERE independentemente da configuração. A verificação é executada apenas onde um filtro poderia de fato ser enviado para execução: quando esta tabela é a única tabela da consulta, em qualquer um dos lados de um INNER JOIN, ou no lado preservado de uma junção externa (o lado esquerdo de um LEFT JOIN, o lado direito de um RIGHT JOIN). No lado não preservado de um LEFT/RIGHT JOIN e em qualquer um dos lados de um FULL JOIN, nada é enviado para execução e nada é verificado, portanto um filtro sobre as colunas desta tabela é aplicado localmente após a junção, mesmo no modo estrito. Onde a verificação é executada, um predicado que referencia outras tabelas unidas na consulta circundante não é enviado para execução e é excluído da verificação, seja ele referenciando apenas o lado unido ou misturando-o com esta tabela dentro de uma única expressão que não seja AND (por exemplo, um OR); tal predicado mantém seu ponto de avaliação usual no ClickHouse (WHERE depois da junção, PREWHERE antes dela) e não é rejeitado.

Compatível com várias réplicas, que devem ser listadas com |. Por exemplo:

SELECT name FROM mysql(`mysql{1|2|3}:3306`, 'mysql_database', 'mysql_table', 'user', 'password');

SELECT name FROM mysql(`mysql1:3306|mysql2:3306|mysql3:3306`, 'mysql_database', 'mysql_table', 'user', 'password');

Valor retornado

Um objeto de tabela com as mesmas colunas da tabela MySQL original.

Alguns tipos de dados do MySQL podem ser mapeados para diferentes tipos do ClickHouse — isso é controlado pela configuração em nível de consulta mysql_datatypes_support_level

Na consulta INSERT, para distinguir a função de tabela mysql(...) do nome da tabela com uma lista de nomes de colunas, você deve usar as palavras-chave FUNCTION ou TABLE FUNCTION. Veja os exemplos abaixo.

Exemplos

Tabela no MySQL:

mysql> CREATE TABLE `test`.`test` (
    ->   `int_id` INT NOT NULL AUTO_INCREMENT,
    ->   `float` FLOAT NOT NULL,
    ->   PRIMARY KEY (`int_id`));

mysql> INSERT INTO test (`int_id`, `float`) VALUES (1,2);

mysql> SELECT * FROM test;
+--------+-------+
| int_id | float |
+--------+-------+
|      1 |     2 |
+--------+-------+

Selecionar dados do ClickHouse:

SELECT * FROM mysql('localhost:3306', 'test', 'test', 'bayonet', '123');

Ou usando coleções nomeadas:

CREATE NAMED COLLECTION creds AS
        host = 'localhost',
        port = 3306,
        database = 'test',
        user = 'bayonet',
        password = '123';
SELECT * FROM mysql(creds, table='test');

┌─int_id─┬─float─┐
│      1 │     2 │
└────────┴───────┘

`enable_compression`

Habilita a compressão para a conexão via protocolo MySQL. Valor padrão: false. Esta configuração se aplica a:

a função de tabela mysql;
o motor de tabela MySQL;
o mecanismo de banco de dados MySQL;
coleções nomeadas usadas por integrações com MySQL.

Quando habilitada, o ClickHouse solicita compressão para a conexão. Exemplo:

SELECT *
FROM mysql(
    'mysql80:3306',
    'clickhouse',
    'test_table',
    'root',
    'password',
    SETTINGS enable_compression = 1
);

Substituição e inserção:

INSERT INTO FUNCTION mysql('localhost:3306', 'test', 'test', 'bayonet', '123', 1) (int_id, float) VALUES (1, 3);
INSERT INTO TABLE FUNCTION mysql('localhost:3306', 'test', 'test', 'bayonet', '123', 0, 'UPDATE int_id = int_id + 1') (int_id, float) VALUES (1, 4);
SELECT * FROM mysql('localhost:3306', 'test', 'test', 'bayonet', '123');

┌─int_id─┬─float─┐
│      1 │     3 │
│      2 │     4 │
└────────┴───────┘

Copiando dados da tabela do MySQL para a tabela do ClickHouse:

CREATE TABLE mysql_copy
(
   `id` UInt64,
   `datetime` DateTime('UTC'),
   `description` String,
)
ENGINE = MergeTree
ORDER BY (id,datetime);

INSERT INTO mysql_copy
SELECT * FROM mysql('host:port', 'database', 'table', 'user', 'password');

Ou, se estiver copiando apenas um lote incremental do MySQL com base no ID máximo atual:

INSERT INTO mysql_copy
SELECT * FROM mysql('host:port', 'database', 'table', 'user', 'password')
WHERE id > (SELECT max(id) FROM mysql_copy);

Referência de SQL

Tipos de dados

Motores

Funções

Formatos

Configurações

Tabelas do sistema

Lagos de dados

Sintaxe

Argumentos

TLS/SSL

Passando uma consulta em vez de um nome de tabela

Valor retornado

Exemplos

`enable_compression`

Relacionados

​Sintaxe

​Argumentos

​TLS/SSL

​Passando uma consulta em vez de um nome de tabela

​Valor retornado

​Exemplos

​enable_compression

​Relacionados

Sintaxe

Argumentos

TLS/SSL

Passando uma consulta em vez de um nome de tabela

Valor retornado

Exemplos

`enable_compression`

Relacionados