Puedes usar ClickPipes para ingestar datos desde tu base de datos de Postgres de origen en ClickHouse Cloud. La base de datos de Postgres de origen puede ser ClickHouse Managed Postgres, o estar alojada on-premise o en la nube, incluidos Amazon RDS, Google Cloud SQL, Azure Database for Postgres, Supabase y otros.Los ClickPipes de Postgres se pueden desplegar y administrar manualmente desde la ClickPipes UI, así como de forma programática mediante OpenAPI y Terraform.
O bien, editarse en la sección Configuración de la conexión de la pestaña Configuración de su ClickPipe pausado:

Donde:Una vez completados los detalles de conexión, haz clic en “Next”.
Requisitos previos
Para empezar, primero debes asegurarte de que tu base de datos de Postgres esté configurada correctamente. Según tu instancia de Postgres de origen, puedes seguir cualquiera de las siguientes guías:- ClickHouse Managed Postgres, que viene con la replicación lógica habilitada y el acceso de ClickPipes permitido de forma predeterminada.
- Amazon RDS Postgres
- Amazon Aurora Postgres
- Supabase Postgres
- Google Cloud SQL Postgres
- Azure Flexible Server for Postgres
- Neon Postgres
- Crunchy Bridge Postgres
- Fuente genérica de Postgres, si utilizas cualquier otro proveedor de Postgres o una instancia autohospedada.
- TimescaleDB, si utilizas la extensión TimescaleDB en un servicio administrado o en una instancia autohospedada.
Creación de tu ClickPipe
Asegúrate de haber iniciado sesión en tu cuenta de ClickHouse Cloud. Si aún no tienes una cuenta, puedes registrarte aquí.- En la consola de ClickHouse Cloud, navega hasta tu servicio de ClickHouse Cloud.
- Selecciona el botón
Data Sourcesen el menú de la izquierda y haz clic en “Set up a ClickPipe”
-
Selecciona el tile
Postgres CDC
Añadir la conexión a la base de datos de Postgres de origen
- Completa los detalles de conexión de tu base de datos de Postgres de origen que configuraste en el paso de requisitos previos.
Antes de empezar a añadir tus detalles de conexión, asegúrate de haber incluido las direcciones IP de ClickPipes en la lista de permitidos de las reglas de tu firewall. Puedes encontrar la lista de direcciones IP de ClickPipes aquí.
Para más información, consulta las guías de configuración de Postgres de origen enlazadas al principio de esta página.
(Opcional) Configuración de AWS Private Link
Puedes usar AWS Private Link para conectarte a tu base de datos de Postgres de origen si está alojada en AWS. Esto resulta útil si quieres mantener privada la transferencia de tus datos. Puedes seguir la guía de configuración para establecer la conexión.(Opcional) Cambiar la configuración de TLS
De forma predeterminada, su ClickPipe se creará con TLS habilitado y con verificación del certificado. Estos valores predeterminados se pueden modificar al crear el ClickPipe:


Disable TLSactiva o desactiva TLS para la conexión. Desactivar TLS significa que los datos se envían como texto sin cifrar por la red, lo que puede incluir secretos y datos confidenciales.Skip certificate verificationactiva o desactiva la verificación del certificado presentado por la base de datos de origen. Tenga en cuenta las implicaciones de seguridad de omitir la verificación del certificado.TLS Host(opcional; de forma predeterminada, el Host de origen) es el hostname con el que debe coincidir el CN del certificado cuando la verificación del certificado está habilitada.Upload CApuede usarse para proporcionar una CA cuando la verificación del certificado está habilitada.
(Opcional) Configurar SSH tunneling
Puedes especificar los detalles de SSH tunneling si tu base de datos de Postgres de origen no es accesible públicamente.- Activa el toggle “Use SSH Tunnelling”.
- Completa los detalles de conexión SSH.
-
Para usar la autenticación basada en claves, haz clic en “Revoke and generate key pair” para generar un nuevo par de claves y copia la clave pública generada en tu servidor SSH en
~/.ssh/authorized_keys. - Haz clic en “Verify Connection” para verificar la conexión.
Asegúrate de permitir las direcciones IP de ClickPipes en las reglas de tu firewall para el host bastión SSH, de modo que ClickPipes pueda establecer el túnel SSH.
Configurar los ajustes de replicación
- Asegúrate de seleccionar en la lista desplegable el replication slot que creaste en el paso de requisitos previos.
Configuración avanzada
Si lo necesitas, puedes configurar los ajustes avanzados. A continuación se ofrece una breve descripción de cada ajuste:- Sync interval: es el intervalo con el que ClickPipes consultará la base de datos de origen en busca de cambios. Esto tiene implicaciones en el servicio de ClickHouse de destino; para los usuarios sensibles al costo, recomendamos mantenerlo en un valor alto (superior a
3600). - Parallel threads for initial load: es la cantidad de workers en paralelo que se usarán para obtener el snapshot inicial. Resulta útil cuando tienes una gran cantidad de tablas y quieres controlar el número de workers en paralelo empleados para obtener el snapshot inicial. Esta configuración es por tabla.
- Pull batch size: la cantidad de filas que se obtienen en un solo batch. Es una configuración de mejor esfuerzo y puede no respetarse en todos los casos.
- Snapshot number of rows per partition: es la cantidad de filas que se obtendrán en cada partición durante el snapshot inicial. Resulta útil cuando tienes una gran cantidad de filas en tus tablas y quieres controlar el número de filas obtenidas en cada partición.
- Snapshot number of tables in parallel: es la cantidad de tablas que se obtendrán en paralelo durante el snapshot inicial. Resulta útil cuando tienes una gran cantidad de tablas y quieres controlar el número de tablas obtenidas en paralelo.
Configuración de las tablas
- Aquí puedes seleccionar la base de datos de destino para tu ClickPipe. Puedes elegir una base de datos existente o crear una nueva.
- Puedes seleccionar las tablas que quieres replicar desde la base de datos de Postgres de origen. Al seleccionar las tablas, también puedes optar por renombrarlas en la base de datos en ClickHouse de destino, así como excluir columnas específicas.
- Además, puede proporcionar una expresión
PARTITION BY <expr>personalizada para controlar la partición de la tabla de ClickHouse de destino.
Revisa los permisos e inicia el ClickPipe
- Selecciona el rol “Full access” en el desplegable de permisos y haz clic en “Complete Setup”.