Registros de esquema para o ClickPipe do Kafka

​

Registros compatíveis com ClickPipes do Kafka

• Registros compatíveis com Confluent: qualquer registro compatível com a API do Confluent Schema Registry, como o próprio Confluent Schema Registry e o Redpanda Schema Registry. Compatível com Avro e Protobuf.
• AWS Glue Schema Registry: para dados Avro serializados com o AWS Glue SerDe, normalmente provenientes do Amazon MSK.

​

Registros compatíveis com o Confluent

​

Configuração

1. Forneça o caminho completo para o subject do esquema (por exemplo, https://registry.example.com/subjects/events)
   • Opcionalmente, é possível referenciar uma versão específica acrescentando /versions/[version] à URL (caso contrário, o ClickPipes recuperará a versão mais recente).
2. Forneça o caminho completo para o ID do esquema (por exemplo, https://registry.example.com/schemas/ids/1000)
3. Forneça a URL raiz do registro de esquema (por exemplo, https://registry.example.com)

​

Conectividade de rede

• A URL do registro de esquemas deve usar https://.
• Se o hostname do registro for resolvido para um endereço privado, ele deverá estar acessível por meio de um endpoint privado reverso selecionado para o ClickPipe; caso contrário, a verificação de conectividade durante o Setup falhará.

​

Como funciona

• Se houver um ID de esquema incorporado ao valor do registro, ele será usado para recuperar o esquema.
• Se não houver um ID de esquema incorporado ao valor do registro, será usado o ID de esquema ou o nome do subject especificado na configuração do ClickPipe para recuperar o esquema.
• Se o valor do registro for gravado sem um ID de esquema incorporado e nenhum ID de esquema ou nome do subject for especificado na configuração do ClickPipe, o esquema não será recuperado e a mensagem será ignorada, com um SOURCE_SCHEMA_ERROR registrado na tabela de erros do ClickPipes.
• Se o valor do registro não estiver em conformidade com o esquema, a mensagem será ignorada, com um DATA_PARSING_ERROR registrado na tabela de erros do ClickPipes.
• Apenas para esquemas Protobuf: o ClickPipes carregará todos os esquemas importados definidos como dependências. Esquemas Avro com referências externas ainda não são compatíveis.

​

AWS Glue Schema Registry

​

Configuração

​

Configuração do IAM

​

Opção A: reutilizar a identidade IAM do broker

• Função IAM: adicione a instrução à política de permissões da função configurada para o MSK.
• Credenciais IAM: adicione a instrução à política de permissões do principal IAM associado à chave de acesso.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "ClickPipesGlueSchemaRegistryRead",
      "Effect": "Allow",
      "Action": ["glue:GetSchemaVersion"],
      "Resource": "*"
    }
  ]
}

​

Opção B: usar uma função dedicada para o registro

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "{ClickHouse_IAM_ARN}"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "ClickPipesGlueSchemaRegistryRead",
      "Effect": "Allow",
      "Action": ["glue:GetSchemaVersion"],
      "Resource": "*"
    }
  ]
}

​

Solução de problemas

​

Limitações

• Somente Avro. JSON Schema e Protobuf via Glue SerDe não são compatíveis.
• Somente fontes Kafka. ClickPipes do Kinesis não podem usar um registro do Glue.

​

Mapeamento de esquema

• Se o esquema contiver um campo que não esteja incluído no mapeamento de destino do ClickHouse, esse campo será ignorado.
• Se no esquema faltar um campo definido no mapeamento de destino do ClickHouse, a coluna do ClickHouse será preenchida com um valor “zero”, como 0 ou uma string vazia. Observe que expressões DEFAULT não têm suporte.
• Se o campo do esquema e a coluna do ClickHouse forem incompatíveis, a inserção dessa linha/mensagem falhará, e a falha será registrada na tabela de erro do ClickPipes. Observe que há suporte para várias conversões implícitas (por exemplo, entre tipos numéricos), mas não para todas (por exemplo, um campo de registro Avro não pode ser inserido em uma coluna Int32 do ClickHouse).