Conceitos-chave
- Organização do ClickHouse Cloud: A entidade de nível superior no ClickHouse Cloud que gerencia usuários, billing e serviços ClickHouse que não são BYOC. Os usuários de uma organização podem acessar tanto os serviços Cloud padrão quanto os serviços BYOC.
- Organização BYOC do ClickHouse: Uma organização separada, dedicada ao gerenciamento de implantações BYOC. Ela compartilha usuários com a organização Cloud, mas está vinculada a uma ou mais contas de nuvem em que a infraestrutura BYOC é implantada.
- Conta de nuvem/projeto/assinatura: A conta da AWS, o projeto do GCP ou a assinatura do Azure pertencente ao cliente, em que a infraestrutura BYOC é provisionada. Cada conta/projeto/assinatura pode hospedar implantações BYOC em uma ou mais regiões. Para isolamento, recomenda-se uma conta/projeto/assinatura dedicada para cada implantação BYOC.
- Infraestrutura BYOC: O conjunto de recursos de nuvem implantados em uma região específica de uma conta de nuvem, incluindo uma VPC/VNet, um cluster do Kubernetes (EKS/GKE/AKS), buckets de armazenamento de objetos, funções do IAM/contas de serviço/principais de serviço e serviços de suporte. Uma única conta de nuvem pode conter várias infraestruturas BYOC em diferentes regiões.
- Serviço ClickHouse: Um cluster ClickHouse individual em execução em uma infraestrutura BYOC. Vários serviços podem ser executados na mesma infraestrutura BYOC.
Misturar contas da AWS, projetos do GCP e assinaturas do Azure na mesma organização só é possível para clientes que não foram configurados por meio de um marketplace de provedor de serviços de nuvem.
Glossário
- ClickHouse VPC: A VPC pertencente ao ClickHouse Cloud.
- VPC BYOC do cliente: A VPC, pertencente à conta de nuvem do cliente, é provisionada e gerenciada pelo ClickHouse Cloud e dedicada a uma implantação BYOC do ClickHouse Cloud.
- Customer VPC: Outras VPCs pertencentes à conta de nuvem do cliente, usadas por aplicações que precisam se conectar à VPC BYOC do cliente.
Arquitetura técnica
O BYOC separa o plano de controle do ClickHouse, que é executado na VPC do ClickHouse, do plano de dados, que é executado inteiramente na sua conta de nuvem. A VPC do ClickHouse hospeda o ClickHouse Cloud Console, autenticação, gerenciamento de usuários, APIs, faturamento, componentes de gerenciamento de infraestrutura, como o controlador de BYOC, além de ferramentas de alertas e incidentes. Esses serviços orquestram e monitoram sua implantação, mas não armazenam seus dados. Na sua VPC BYOC do cliente, o ClickHouse provisiona um cluster do Kubernetes (por exemplo, Amazon EKS) que executa o plano de dados do ClickHouse. Como mostrado no diagrama, isso inclui o próprio cluster ClickHouse, o ClickHouse Operator e serviços de suporte, como Entrada, DNS, gerenciamento de certificados, exportadores de estado e scrapers. Uma stack de monitoramento dedicada (Prometheus, Grafana, AlertManager e Thanos) também é executada dentro da sua VPC, de modo que suas métricas e alertas se originam no seu ambiente e os próprios dados de monitoramento permanecem na sua conta. Um conjunto limitado de telemetria operacional é encaminhado ao ClickHouse Cloud — métricas de uso para faturamento, eventos de estado de serviço e de backup e alertas de saúde — e nada além disso é exportado; consulte limites de rede para o inventário completo. Independentemente dessa exportação, os dashboards do ClickHouse e, mediante escalonamento aprovado, seus engenheiros podem consultar a stack e seus logs no local por meio do Tailscale, sem que nada seja persistido do lado do ClickHouse — consulte acesso a dados do ClickHouse.Os principais recursos de Cloud que o ClickHouse Cloud implantará na sua conta são:
- VPC: Uma Virtual Private Cloud dedicada à sua implantação do ClickHouse. Ela pode ser gerenciada pelo ClickHouse ou por você, o cliente, e normalmente é conectada por peering às VPCs das suas aplicações.
- Funções e políticas do IAM: Funções e permissões necessárias para o Kubernetes, os serviços do ClickHouse e a stack de monitoramento. Elas podem ser provisionadas pelo ClickHouse ou fornecidas pelo cliente.
- Buckets de armazenamento: Usados para armazenar partes de dados, backups e, opcionalmente, arquivos de métricas e logs de longo prazo.
- Cluster do Kubernetes: Pode ser Amazon EKS, Google GKE ou Azure AKS, dependendo do seu provedor de Cloud. Ele hospeda os servidores ClickHouse e os serviços de suporte mostrados no diagrama de arquitetura.
Armazenamento de dados
Comunicação com o plano de controle
Principais requisitos para BYOC
Permissões de IAM entre contas
O ClickHouse Cloud precisa de permissões de IAM entre contas para provisionar e gerenciar recursos na sua conta de nuvem. Isso permite que o ClickHouse:- Gerencie funções do IAM: crie e configure funções do IAM para contas de serviço do Kubernetes e serviços de suporte
- Gerencie clusters do Kubernetes: implante e mantenha clusters EKS/GKE/AKS, grupos de nós e componentes do cluster
- Crie recursos de armazenamento: provisione buckets do S3 ou armazenamento de objetos equivalente para dados e backups
- Gerencie funções do IAM: crie e configure funções do IAM para contas de serviço do Kubernetes e serviços de suporte
- Opere serviços de suporte: implante e gerencie stacks de monitoramento, controladores de Entrada e outros componentes de infraestrutura
Conexão de rede privada Tailscale
- Monitoramento contínuo: engenheiros do ClickHouse podem acessar a stack de monitoramento Prometheus implantada na sua VPC BYOC para acompanhar a saúde e o desempenho do serviço
- Manutenção proativa: engenheiros podem realizar manutenção de rotina, upgrades e operações de solução de problemas
- Suporte de emergência: em caso de problemas no serviço, engenheiros podem acessar rapidamente seu ambiente para diagnosticar e resolver falhas
- Gerenciamento de infraestrutura: quando um endpoint privado da API do Kubernetes está habilitado, os serviços de gerenciamento acessam a API do Kubernetes por meio dessa conexão, e não pelo endpoint público dela
- Aprovado e auditado: engenheiros precisam solicitar acesso por meio de um sistema interno de aprovação
- Limitado no tempo: o acesso expira automaticamente após um período definido
- Restrito: engenheiros podem acessar apenas tabelas do sistema e componentes da infraestrutura, nunca dados de clientes
- Criptografado: toda a comunicação é criptografada de ponta a ponta
Por que esses requisitos são importantes
Juntos, esses dois componentes permitem que o ClickHouse Cloud:- Mantenha a confiabilidade: monitore e mantenha sua implantação de forma proativa para evitar problemas
- Garanta a segurança: use acesso com privilégio mínimo e auditabilidade completa
- Simplifique as operações: automatize o gerenciamento da infraestrutura sem perder o controle
- Forneça suporte: responda rapidamente aos problemas e resolva-os quando ocorrerem
- Garanta que as faixas de CIDR da rede da sua VPC BYOC não se sobreponham a nenhuma VPC existente com a qual você pretende fazer peering.
- Identifique claramente seus recursos com tags para simplificar o gerenciamento e o suporte.
- Planeje adequadamente o dimensionamento das sub-redes e a distribuição entre zonas de disponibilidade para garantir alta disponibilidade.
- Consulte o guia de segurança para entender a responsabilidade compartilhada e as melhores práticas quando o ClickHouse Cloud opera no seu ambiente.
- Revise o guia completo de onboarding para obter instruções passo a passo sobre a configuração inicial da conta, configuração da VPC, conectividade de rede (por exemplo, VPC peering) e delegação de função do IAM.