> ## Documentation Index > Fetch the complete documentation index at: https://private-7c7dfe99-parallel-read-in-order-multi-part.mintlify.site/llms.txt > Use this file to discover all available pages before exploring further. > Мониторинг ClickPipes с помощью метрик Prometheus. # Мониторинг ClickPipes Помимо мониторинга в консоли, ClickPipes предоставляет метрики через [конечную точку, совместимую с Prometheus](/ru/products/cloud/features/monitoring/prometheus), для сбора. Эти метрики публикуются вместе с другими метриками сервиса ClickHouse Cloud и позволяют интегрировать мониторинг ClickPipes в ваш существующий стек обсервабилити (например, [Grafana](/ru/products/cloud/features/monitoring/prometheus#integrating-with-grafana), [Datadog](/ru/products/cloud/features/monitoring/prometheus#integrating-with-datadog)).
## Метки метрик
В метриках ClickPipes используются [стандартные метки уровня сервиса](/ru/products/cloud/features/monitoring/prometheus#metric-labels) (`clickhouse_org`, `clickhouse_service`, `clickhouse_service_name`), а также следующие метки, специфичные для ClickPipes: | Метка | Описание | | - | - | | `clickpipe_id` | Уникальный идентификатор ClickPipe | | `clickpipe_name` | Имя ClickPipe | | `clickpipe_source` | Тип источника (например, `kafka`, `postgres`, `s3`) | | `clickpipe_state` | Состояние ClickPipe (например, `Stopped`, `Provisioning`, `Running`) |
### Пример ответа
Ниже показано, как метрики ClickPipes выглядят в ответе Prometheus при скрейпинге для Kafka ClickPipe. Набор предоставляемых метрик зависит от типа пайпа — см. [Доступные метрики](#available-metrics), чтобы узнать, какие метрики применяются к каким типам пайпов: ```response theme={null} # HELP ClickPipes_Info Всегда равно 1. Метка "clickpipe_state" содержит текущее состояние пайпа: Stopped/Provisioning/Running/Paused/Failed # TYPE ClickPipes_Info gauge ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1 # HELP ClickPipes_FetchedEvents_Total Общее количество записей, полученных из источника. # TYPE ClickPipes_FetchedEvents_Total counter ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376 # HELP ClickPipes_SentEvents_Total Общее количество записей, отправленных в ClickHouse # TYPE ClickPipes_SentEvents_Total counter ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250 # HELP ClickPipes_FetchedBytes_Total Общее количество несжатых байт, полученных из источника. # TYPE ClickPipes_FetchedBytes_Total counter ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202 # HELP ClickPipes_SentBytes_Total Общее количество несжатых байт, отправленных в ClickHouse. # TYPE ClickPipes_SentBytes_Total counter ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967 # HELP ClickPipes_Errors_Total Общее количество ошибок при приёме данных. # TYPE ClickPipes_Errors_Total counter ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0 # HELP ClickPipes_Latency Время в миллисекундах между моментом создания записи и моментом её записи в ClickHouse. # TYPE ClickPipes_Latency gauge ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340 ```
## Доступные метрики
Не все метрики доступны для каждого типа пайпа. В частности, CDC ClickPipes предоставляют другой набор метрик, чем ClickPipes для стриминга и объектного хранилища. * **Стриминг, объектное хранилище** — Kafka, Kinesis, Pub/Sub, S3 и GCS * **CDC** — Postgres, MySQL, MongoDB и BigQuery * **Все** — любой тип пайпа
### Передача данных
| Метрика | Тип | Доступно для | Описание | | - | - | - | - | | `ClickPipes_FetchedBytes_Total` | Counter | стриминг, Объектное хранилище | Общее количество несжатых байтов, полученных из источника. | | `ClickPipes_FetchedBytesCompressed_Total` | Counter | Все | Общее количество байтов, полученных из источника в том виде, в котором они передаются по сети. Если данные источника не сжаты, значение эквивалентно `ClickPipes_FetchedBytes_Total`. Для CDC ClickPipes не включает байты, полученные на этапе первичной загрузки; они учитываются отдельно в `ClickPipes_FetchedBytesInitialLoad_Total`. | | `ClickPipes_FetchedBytesInitialLoad_Total` | Counter | CDC | Общее количество байтов, полученных на этапе первичной загрузки, включая повторные синхронизации. | | `ClickPipes_SentBytes_Total` | Counter | стриминг, Объектное хранилище | Общее количество несжатых байтов, отправленных в ClickHouse. | | `ClickPipes_SentBytesCompressed_Total` | Counter | стриминг, Объектное хранилище | Общее количество сжатых байтов, отправленных в ClickHouse. |
### События и записи
| Метрика | Тип | Доступно для | Описание | | - | - | - | - | | `ClickPipes_FetchedEvents_Total` | Counter | Стриминг, Объектное хранилище | Общее число записей, полученных из источника. | | `ClickPipes_SentEvents_Total` | Counter | Стриминг, Объектное хранилище | Общее число записей, отправленных в ClickHouse. | | `ClickPipes_FetchedEvents_PerTable` | Gauge | CDC | Число записей, полученных по каждой целевой таблице и типу события. Используются дополнительные метки `destination_table` и `event_type`. |
### Ошибки
| Метрика | Тип | Доступно для | Описание | | - | - | - | - | | `ClickPipes_Errors_Total` | Counter | Все | Общее число [ошибок](/ru/integrations/clickpipes/home#error-reporting), возникших в процессе ингестии. |
### Задержка
| Метрика | Тип | Доступно для | Описание | | - | - | - | - | | `ClickPipes_Latency` | Gauge (*avg*) | Все | Время в миллисекундах между моментом, когда запись появилась в источнике, и моментом, когда она была записана в ClickHouse. | | `ClickPipes_SourceReplicationLatency_MiB` | Gauge (*avg*) | CDC (только Postgres) | Отставание слота репликации на стороне источника, в МиБ. Эта метрика публикуется только для ClickPipes для Postgres. | | `ClickPipes_CDC_SourceLatency` | Gauge (*avg*) | CDC | Задержка в миллисекундах между временной меткой события в источнике и его обработкой в ClickPipes. | | `ClickPipes_CDC_DestinationLatency` | Gauge (*avg*) | CDC | Задержка в миллисекундах между получением события в ClickPipe и его записью в таблицу ClickHouse. |
### Использование ресурсов
Метрики `ClickPipes_Replica_*` отражают использование ресурсов для стриминговых ClickPipes и ClickPipes для объектного хранилища. У каждого ClickPipe есть **выделенные вычислительные ресурсы**, поэтому эти значения отражают использование ресурсов отдельных ClickPipes. | Метрика | Тип | Доступно для | Описание | | - | - | - | - | | `ClickPipes_Replica_CPUUsage` | Gauge (*avg*) | Стриминг, объектное хранилище | Среднее использование CPU репликами, отвечающими за приём данных, в милликорах. | | `ClickPipes_Replica_CPULimit` | Gauge (*last*) | Стриминг, объектное хранилище | Настроенный лимит CPU для реплик, отвечающих за приём данных, в милликорах. | | `ClickPipes_Replica_MemoryUsage` | Gauge (*avg*) | Стриминг, объектное хранилище | Среднее использование памяти репликами, отвечающими за приём данных, в байтах. | | `ClickPipes_Replica_MemoryLimit` | Gauge (*last*) | Стриминг, объектное хранилище | Настроенный лимит памяти для реплик, отвечающих за приём данных, в байтах. | Метрики `ClickPipes_CDC_*` отражают использование ресурсов для CDC ClickPipes. Все CDC ClickPipes в одном сервисе **используют общие вычислительные ресурсы**, поэтому эти значения отражают совокупное использование ресурсов всеми CDC ClickPipes сервиса. | Метрика | Тип | Доступно для | Описание | | - | - | - | - | | `ClickPipes_CDC_CPUUsage` | Gauge (*avg*) | CDC | Среднее использование CPU, в милликорах. Общее для всех CDC ClickPipes в сервисе. | | `ClickPipes_CDC_CPULimit` | Gauge (*last*) | CDC | Настроенный лимит CPU, в милликорах. Общий для всех CDC ClickPipes в сервисе. | | `ClickPipes_CDC_MemoryUsage` | Gauge (*avg*) | CDC | Среднее использование памяти, в байтах. Общее для всех CDC ClickPipes в сервисе. | | `ClickPipes_CDC_MemoryLimit` | Gauge (*last*) | CDC | Настроенный лимит памяти, в байтах. Общий для всех CDC ClickPipes в сервисе. | | `ClickPipes_CDC_NetworkReceiveBytes` | Gauge | CDC | Пропускная способность входящего сетевого трафика, в байтах (дельта за окно scrape). Общая для всех CDC ClickPipes в сервисе. |
### Состояние и прогресс
| Метрика | Тип | Доступно для | Описание | | - | - | - | - | | `ClickPipes_Info` | Gauge | Все | Всегда равна `1`. Используйте метку `clickpipe_state`, чтобы фильтровать по состоянию пайпа или настраивать оповещения. | | `ClickPipes_LastFetchedBatchId` | Gauge | CDC | ID последнего батча, полученного из источника. | | `ClickPipes_LastSentBatchId` | Gauge | CDC | ID последнего батча, отправленного в ClickHouse. | * [Конечная точка Prometheus](/ru/products/cloud/features/monitoring/prometheus) — Справка по конечной точке, аутентификации и настройке для внешних инструментов (например, Grafana, Datadog) * [Отчёты об ошибках](/ru/integrations/clickpipes/home#error-reporting) — Где хранятся ошибки записей и системные ошибки