Você pode usar o ClickPipes para fazer a ingestão de dados do seu banco de dados Postgres de origem no ClickHouse Cloud. O banco de dados Postgres de origem pode ser o ClickHouse Managed Postgres ou estar hospedado on-premises ou na nuvem, incluindo Amazon RDS, Google Cloud SQL, Azure Database for Postgres, Supabase e outros.Os ClickPipes do Postgres podem ser implantados e gerenciados manualmente pela ClickPipes UI, bem como programaticamente por meio da OpenAPI e do Terraform.
Ou editadas na seção Connection settings da aba Settings do seu ClickPipe pausado:

Onde:Depois de preencher os detalhes de conexão, clique em “Next”.
Pré-requisitos
Para começar, primeiro você precisa garantir que seu banco de dados Postgres esteja configurado corretamente. Dependendo da sua instância Postgres de origem, você pode seguir qualquer um dos guias a seguir:- ClickHouse Managed Postgres, que já vem com logical replication habilitada e acesso do ClickPipes permitido por padrão.
- Amazon RDS Postgres
- Amazon Aurora Postgres
- Supabase Postgres
- Google Cloud SQL Postgres
- Azure Flexible Server for Postgres
- Neon Postgres
- Crunchy Bridge Postgres
- Origem genérica do Postgres, se você estiver usando qualquer outro provedor de Postgres ou uma instância self-hosted.
- TimescaleDB, se você estiver usando a extensão TimescaleDB em um serviço gerenciado ou em uma instância self-hosted.
Criando seu ClickPipe
Certifique-se de estar conectado à sua conta do ClickHouse Cloud. Se você ainda não tiver uma conta, pode se cadastrar aqui.- No console do ClickHouse Cloud, navegue até o seu ClickHouse Cloud Service.
- Selecione o botão
Data Sourcesno menu à esquerda e clique em “Set up a ClickPipe”
-
Selecione o tile
Postgres CDC
Adicionando a conexão com seu banco de dados Postgres de origem
- Preencha os detalhes de conexão do seu banco de dados Postgres de origem que você configurou na etapa de pré-requisitos.
Antes de começar a adicionar os detalhes de conexão, certifique-se de ter adicionado os endereços IP do ClickPipes à lista de permissões nas regras do seu firewall. Você pode encontrar a lista de endereços IP do ClickPipes aqui.
Para mais informações, consulte os guias de configuração do Postgres de origem vinculados no início desta página.
(Opcional) Configurando o AWS Private Link
Você pode usar o AWS Private Link para se conectar ao seu banco de dados Postgres de origem, caso ele esteja hospedado na AWS. Isso é útil se você quiser manter a transferência de dados privada. Você pode seguir o guia de configuração para configurar a conexão.(Opcional) Alterando as configurações de TLS
Por padrão, seu ClickPipe será criado com TLS habilitado e verificação de certificados. Essas configurações padrão podem ser alteradas durante a criação do ClickPipe:


Disable TLSativa ou desativa o TLS para a conexão. Desativar o TLS significa que os dados são enviados em texto simples pela rede, potencialmente incluindo credenciais e dados sensíveis.Skip certificate verificationativa ou desativa a verificação do certificado apresentado pelo banco de dados de origem. Leve em consideração as implicações de segurança de ignorar a verificação de certificados.TLS Host(opcional, usa o Host de origem por padrão) é o hostname ao qual o CN do certificado deve corresponder quando a verificação de certificados está habilitada.Upload CApode ser usado para fornecer uma CA a ser utilizada quando a verificação de certificados estiver habilitada.
(Opcional) Configurando o tunelamento SSH
Você pode especificar os detalhes de tunelamento SSH caso seu banco de dados Postgres de origem não seja acessível publicamente.- Ative o toggle “Use SSH Tunnelling”.
- Preencha os detalhes de conexão SSH.
-
Para usar autenticação baseada em chave, clique em “Revoke and generate key pair” para gerar um novo par de chaves e copie a chave pública gerada para o seu servidor SSH em
~/.ssh/authorized_keys. - Clique em “Verify Connection” para verificar a conexão.
Certifique-se de adicionar os endereços IP do ClickPipes à lista de permissões nas regras de firewall do host bastion SSH, para que o ClickPipes possa estabelecer o túnel SSH.
Configurando as definições de replicação
- Certifique-se de selecionar, na lista dropdown, o replication slot que você criou na etapa de pré-requisitos.
Configurações avançadas
Se necessário, você pode configurar as Configurações avançadas. Veja abaixo uma breve descrição de cada configuração:- Sync interval: este é o intervalo em que o ClickPipes consultará o banco de dados de origem em busca de alterações. Isso tem implicações no serviço ClickHouse de destino; para usuários sensíveis a custos, recomendamos manter esse valor mais alto (acima de
3600). - Parallel threads for initial load: este é o número de workers paralelos que serão usados para buscar o snapshot inicial. Isso é útil quando você tem um grande número de tabelas e deseja controlar o número de workers paralelos usados para buscar o snapshot inicial. Essa configuração é por tabela.
- Pull batch size: o número de linhas a serem buscadas em um único lote. Essa é uma configuração de melhor esforço e pode não ser respeitada em todos os casos.
- Snapshot number of rows per partition: este é o número de linhas que serão buscadas em cada partição durante o snapshot inicial. Isso é útil quando você tem um grande número de linhas em suas tabelas e deseja controlar o número de linhas buscadas em cada partição.
- Snapshot number of tables in parallel: este é o número de tabelas que serão buscadas em paralelo durante o snapshot inicial. Isso é útil quando você tem um grande número de tabelas e deseja controlar o número de tabelas buscadas em paralelo.
Configurando as tables
- Aqui você pode selecionar o banco de dados de destino do seu ClickPipe. Você pode selecionar um banco de dados existente ou criar um novo.
- Você pode selecionar as tabelas que deseja replicar do banco de dados Postgres de origem. Ao selecionar as tabelas, você também pode optar por renomeá-las no banco de dados ClickHouse de destino, bem como excluir colunas específicas.
- Além disso, você pode fornecer uma expressão personalizada
PARTITION BY <expr>para controlar o particionamento da tabela de destino do ClickHouse.
Revise as permissões e inicie o ClickPipe
- Selecione a role “Full access” na lista suspensa de permissões e clique em “Complete Setup”.