Aislamiento de consultas frente a ingestiónEn la mayoría de los despliegues autogestionados, la ingestión y la consulta comparten los mismos nodos. En este caso, use las CPU totales como línea base. El escalado aislado —donde el cómputo de ingestión y el de consulta se aprovisionan de forma independiente— es compatible con ClickHouse Cloud mediante grupos de cómputo independientes, también conocidos como Warehouses.
Suposiciones
Suposiciones
- Una relación de compresión de 10x para el almacenamiento, normalmente conservadora para logs y traces.
- SLA de consultas con un P50 de 1.5 segundos y un P99 de 5 segundos.
- Suponemos que la mayoría de las consultas se realizan sobre datos recientes, siguiendo una distribución log-normal que alcanza su pico en torno a una hora y se extiende hasta aproximadamente seis horas. Los usuarios pueden optar por aprovisionar cómputo dedicado para consultar datos más antiguos. En ClickHouse Cloud, este puede permanecer inactivo (y, por tanto, no generar costos) cuando no se utilice.
- Aunque el cómputo de consultas puede escalarse de forma independiente del cómputo de ingestión, sigue estando intrínsecamente vinculado al volumen de ingestión. Suponemos que, a medida que aumenta la ingestión, crece la densidad de datos, lo que da lugar a mayores volúmenes de escaneo en tiempo de consulta y, en consecuencia, a mayores requisitos de cómputo para las consultas.
Ajuste de las hipótesis de dimensionamiento para su entorno
El modelo asume un promedio sostenido de 1 QPS desde ClickStack, agregando todos los tipos de consultas, incluidas las búsquedas, los dashboards y las alertas. Para volúmenes de consultas más altos, escale linealmente los requisitos de CPU multiplicándolos por el QPS objetivo. Por ejemplo, una implementación con una tasa de ingesta de 100 MB/s y un objetivo de 9 QPS requeriría 90 CPU para consultas (10 × 9) en lugar de las 10 de base, lo que da un total revisado de 100 CPU (10 de ingesta + 90 de consultas). Las estimaciones de almacenamiento asumen una relación de compresión conservadora de 10x. En la práctica, los logs, las trazas y las métricas suelen lograr una compresión mayor. Recomendamos hacer pruebas con una muestra de datos para determinar la relación de compresión y los requisitos de almacenamiento antes de pasar a producción. Para calcular el almacenamiento necesario para una retención más prolongada, multiplique el almacenamiento mensual por la cantidad de meses que deban conservarse. Esto supone una distribución de consultas relativamente equilibrada. Las cargas de trabajo sesgadas hacia consultas históricas o de archivado más pesadas pueden tener requisitos de cómputo significativamente distintos, y deben validarse mediante pruebas de carga. Tenemos previsto introducir un modelo de dimensionamiento más flexible que permita extrapolar el cómputo de consultas en función de distintos patrones de distribución de consultas.Ejemplo resuelto
Requisitos: 1,5 PB/mes de ingesta, 5 QPS, retención de 3 meses. Conversión a MB/s El modelo de dimensionamiento se expresa en MB/s. Convirtiendo 1,5 PB/mes (1.500 TB) a rendimiento sostenido:- 1.500 TB = 1.500.000.000 MB
- Segundos por mes (30 días): 30 × 24 × 60 × 60 = 2.592.000
- MB/s = 1.500.000.000 ÷ 2.592.000 ≈ 579 MB/s
- Comprimido por mes: 1.500 TB ÷ 10 = 150 TB/mes
- Para una retención de 3 meses: 150 TB × 3 = 450 TB en total
Aislar las cargas de trabajo de observabilidad
Si está añadiendo ClickStack a un servicio de ClickHouse Cloud existente que ya admite otras cargas de trabajo, como análisis de aplicaciones en tiempo real, se recomienda encarecidamente aislar el tráfico de observabilidad. Use Managed Warehouses para crear un servicio hijo dedicado a ClickStack. Esto le permite:- Aislar la carga de ingesta y de consultas de las aplicaciones existentes
- Escalar las cargas de trabajo de observabilidad de forma independiente
- Evitar que las consultas de observabilidad afecten a los análisis de producción
- Compartir los mismos conjuntos de datos subyacentes entre servicios cuando sea necesario