Neste guia, vamos mostrar a você como criar seu primeiro ClickPipe do Kafka.Os ClickPipes do Kafka podem ser implantados e gerenciados manualmente pela UI do ClickPipes, bem como programaticamente usando OpenAPI e Terraform.
1
Acesse Data Sources
Selecione o botão
Data Sources no menu à esquerda e clique em “Set up a ClickPipe”.2
Selecione uma fonte de dados
Selecione a fonte de dados do Kafka na lista.
3
Configure a fonte de dados
Preencha o formulário informando um nome para o seu ClickPipe, uma descrição (opcional), suas credenciais e outros detalhes de conexão.
4
Configure um registro de esquemas (opcional)
Um esquema válido é obrigatório para tópicos Avro e Protobuf. Consulte Registros de esquemas para mais detalhes sobre como configurar um registro de esquemas.Para Protobuf, você pode, em vez disso, deixar o Schema registry desabilitado e enviar um esquema ao selecionar seu tópico.
5
Configure um endpoint privado reverso (opcional)
Configure um endpoint privado reverso para permitir que o ClickPipes se conecte ao seu cluster do Kafka usando o AWS PrivateLink.
Consulte nossa documentação do AWS PrivateLink para mais informações.
6
Configure o túnel SSH (opcional)
Você pode usar um túnel SSH se o seu broker Kafka não estiver acessível publicamente. Em vez de se conectar diretamente, o ClickPipes estabelece uma conexão SSH com um host bastion (um servidor na sua rede que é acessível publicamente) e então encaminha o tráfego por ele até o seu broker Kafka na rede privada.
- Ative a opção “SSH Tunnel”.
- Preencha os detalhes da conexão SSH:
- SSH Host: O hostname ou endereço IP do seu host bastion — este é o servidor acessível publicamente que funciona como ponto de entrada para a sua rede privada.
- SSH Port: A porta SSH no host bastion (o padrão é
22). - SSH User: O nome de usuário usado para autenticação no host bastion.
- Para usar autenticação baseada em chave, clique em “Revoke and regenerate key pair” para gerar um novo par de chaves e copie a chave pública gerada para o seu servidor SSH em
~/.ssh/authorized_keys. - Clique em “Verify Connection” para verificar a conexão.
Certifique-se de adicionar os endereços IP do ClickPipes à lista de permissões nas regras de firewall do host SSH bastion, para que o ClickPipes possa estabelecer o túnel SSH.
7
Selecione seu tópico
Selecione seu tópico. Se você não estiver usando um registro de esquemas, selecione o formato dos dados em Schema format. Para
Protobuf, envie um arquivo .proto ou um FileDescriptorSet serializado (máximo de 768 KiB).A UI então exibirá um documento de exemplo desse tópico.8
Configure sua tabela de destino
Na próxima etapa, você pode escolher se deseja fazer a ingestão de dados em uma nova tabela do ClickHouse ou reutilizar uma já existente. Siga as instruções na tela para modificar o nome da tabela, o esquema e as configurações. Você pode ver uma prévia em tempo real das alterações na tabela de amostra na parte superior.Você também pode personalizar as configurações avançadas usando os controles disponíveis
9
Configurar permissões
O ClickPipes criará um usuário dedicado para gravar dados na tabela de destino. Você pode selecionar uma função para esse usuário interno usando uma função personalizada ou uma das funções predefinidas:
Full access: com acesso total ao cluster. Isso pode ser útil se você usar uma visão materializada ou um Dicionário com a tabela de destino.Only destination table: apenas com permissõesINSERTna tabela de destino.
10
Configuração completa
Ao clicar em “Create ClickPipe”, o ClickPipe será criado e executado. Ele passará a aparecer na seção Data Sources.