Skip to main content
Vous pouvez utiliser ClickPipes pour ingérer les données de votre base de données Postgres source dans ClickHouse Cloud. La base de données Postgres source peut être ClickHouse Managed Postgres, ou être hébergée on-premise ou dans le cloud, notamment sur Amazon RDS, Google Cloud SQL, Azure Database for Postgres, Supabase et d’autres.Les Postgres ClickPipes peuvent être déployés et gérés manuellement depuis l’UI ClickPipes, mais aussi de manière programmatique via OpenAPI et Terraform.

​
Prérequis

Pour commencer, assurez-vous d’abord que votre base de données Postgres est correctement configurée. Selon votre instance Postgres source, vous pouvez suivre l’un des guides suivants :
  1. ClickHouse Managed Postgres, pour lequel la logical replication est activée et l’accès ClickPipes autorisé d’emblée.
  2. Amazon RDS Postgres
  3. Amazon Aurora Postgres
  4. Supabase Postgres
  5. Google Cloud SQL Postgres
  6. Azure Flexible Server for Postgres
  7. Neon Postgres
  8. Crunchy Bridge Postgres
  9. Source Postgres générique, si vous utilisez un autre fournisseur Postgres ou une instance autohébergée.
  10. TimescaleDB, si vous utilisez l’extension TimescaleDB sur un service managé ou une instance autohébergée.
Les proxys Postgres comme PgBouncer, RDS Proxy, Supabase Pooler, etc. ne sont pas pris en charge pour la réplication basée sur CDC. Veillez à NE PAS les utiliser pour la configuration de ClickPipes et ajoutez plutôt les informations de connexion de la base de données Postgres elle-même.
Une fois votre base de données Postgres source configurée, vous pouvez poursuivre la création de votre ClickPipe.

​
Création de votre ClickPipe

Assurez-vous d’être connecté à votre compte ClickHouse Cloud. Si vous n’avez pas encore de compte, vous pouvez vous inscrire ici.
  1. Dans la console ClickHouse Cloud, accédez à votre ClickHouse Cloud Service.
  1. Sélectionnez le bouton Data Sources dans le menu de gauche, puis cliquez sur “Set up a ClickPipe”
  1. Sélectionnez la tuile Postgres CDC

​
Ajout de la connexion à votre base de données Postgres source

  1. Renseignez les informations de connexion de votre base de données Postgres source que vous avez configurée à l’étape des prérequis.
Avant de commencer à saisir vos informations de connexion, assurez-vous d’avoir autorisé les adresses IP ClickPipes dans les règles de votre pare-feu. Vous trouverez la liste des adresses IP ClickPipes ici. Pour plus d’informations, consultez les guides de configuration de la source Postgres référencés en haut de cette page.
Vous pouvez utiliser AWS Private Link pour vous connecter à votre base de données Postgres source si elle est hébergée sur AWS. C’est utile si vous souhaitez que votre transfert de données reste privé. Vous pouvez suivre le guide de configuration pour établir la connexion.

​
(Facultatif) Modification des paramètres TLS

Par défaut, votre ClickPipe sera créé avec TLS activé et la vérification du certificat. Ces paramètres par défaut peuvent être modifiés lors de la création du ClickPipe :
Paramètres TLS
Ou modifiés dans la section Paramètres de connexion de l’onglet Paramètres de votre ClickPipe en pause :
Paramètres de connexion -> Modifier la connexion
Modifier la connexion
Où :
  • Disable TLS active ou désactive TLS pour la connexion. Désactiver TLS signifie que les données sont envoyées en clair sur le réseau, y compris, potentiellement, des secrets et des données sensibles.
  • Skip certificate verification active ou désactive la vérification du certificat présenté par la base de données source. Tenez compte des implications de sécurité liées à l’ignorance de la vérification du certificat.
  • TLS Host (facultatif, utilise par défaut le Host source) est le nom d’hôte auquel le CN du certificat doit correspondre lorsque la vérification du certificat est activée.
  • Upload CA permet de fournir une CA à utiliser lorsque la vérification du certificat est activée.

​
(Facultatif) Configuration du tunneling SSH

Vous pouvez renseigner les informations de tunneling SSH si votre base de données Postgres source n’est pas accessible publiquement.
  1. Activez le toggle “Use SSH Tunnelling”.
  2. Renseignez les informations de connexion SSH.
  3. Pour utiliser l’authentification par clé, cliquez sur “Revoke and generate key pair” afin de générer une nouvelle paire de clés, puis copiez la clé publique générée sur votre serveur SSH dans ~/.ssh/authorized_keys.
  4. Cliquez sur “Verify Connection” pour vérifier la connexion.
Veillez à autoriser les adresses IP ClickPipes dans les règles de firewall de l’hôte bastion SSH afin que ClickPipes puisse établir le tunnel SSH.
Une fois les informations de connexion renseignées, cliquez sur “Next”.

​
Configuration des paramètres de réplication

  1. Veillez à sélectionner dans la liste déroulante le replication slot que vous avez créé à l’étape des prérequis.

​
Paramètres avancés

Vous pouvez configurer les paramètres avancés si nécessaire. Une brève description de chaque paramètre est fournie ci-dessous :
  • Sync interval : il s’agit de l’intervalle auquel ClickPipes interrogera la base de données source pour détecter les changements. Ce paramètre a une incidence sur le ClickHouse service de destination ; pour les utilisateurs sensibles aux coûts, nous recommandons de conserver une valeur élevée (supérieure à 3600).
  • Parallel threads for initial load : il s’agit du nombre de workers parallèles qui seront utilisés pour récupérer le snapshot initial. C’est utile lorsque vous avez un grand nombre de tables et que vous souhaitez contrôler le nombre de workers parallèles utilisés pour récupérer le snapshot initial. Ce paramètre s’applique par table.
  • Pull batch size : le nombre de rows à récupérer dans un seul batch. Il s’agit d’un paramètre appliqué au mieux, qui peut ne pas être respecté dans tous les cas.
  • Snapshot number of rows per partition : il s’agit du nombre de rows qui seront récupérées dans chaque partition lors du snapshot initial. C’est utile lorsque vos tables contiennent un grand nombre de rows et que vous souhaitez contrôler le nombre de rows récupérées dans chaque partition.
  • Snapshot number of tables in parallel : il s’agit du nombre de tables qui seront récupérées en parallèle lors du snapshot initial. C’est utile lorsque vous avez un grand nombre de tables et que vous souhaitez contrôler le nombre de tables récupérées en parallèle.

​
Configuration des tables

  1. Vous pouvez ici sélectionner la base de données de destination pour votre ClickPipe. Vous pouvez soit sélectionner une base de données existante, soit en créer une nouvelle.
  2. Vous pouvez sélectionner les tables que vous souhaitez répliquer depuis la base de données Postgres source. Lors de la sélection des tables, vous pouvez également choisir de les renommer dans la base de données ClickHouse de destination, ainsi que d’exclure certaines colonnes.
Si vous définissez dans ClickHouse une ordering key différente de la primary key de Postgres, n’oubliez pas de lire toutes les considérations à ce sujet
  1. Vous pouvez également fournir une expression PARTITION BY <expr> personnalisée pour contrôler le partitionnement de la table ClickHouse de destination.
    Partitionnement par

​
Vérifier les permissions et démarrer le ClickPipe

  1. Sélectionnez le rôle “Full access” dans la liste déroulante des permissions, puis cliquez sur “Complete Setup”.

​
Et ensuite ?

Une fois votre ClickPipe configuré pour répliquer les données de PostgreSQL vers ClickHouse Cloud, vous pouvez vous concentrer sur la manière d’interroger et de modéliser vos données pour obtenir des performances optimales. Consultez le guide de migration pour évaluer quelle stratégie correspond le mieux à vos besoins, ainsi que les pages Stratégies de déduplication (avec CDC) et Clés de tri pour connaître les bonnes pratiques relatives aux charges de travail CDC.Pour les questions courantes concernant le CDC PostgreSQL et le dépannage, consultez la page FAQ Postgres.
Dernière modification le 28 septembre 2026