مراقبة ClickPipes

بالإضافة إلى المراقبة داخل Console، يوفّر ClickPipes مقاييس عبر نقطة نهاية متوافق مع Prometheus ليتم جمعها. تُنشر هذه المقاييس مع مقاييس خدمة ClickHouse Cloud الأخرى، وتتيح لك دمج مراقبة ClickPipes مع مكدس observability الحالي لديك (مثل Grafana وDatadog).

تسميات المقاييس

تستخدم مقاييس ClickPipes التسميات القياسية على مستوى الخدمة (clickhouse_org, clickhouse_service, clickhouse_service_name)، بالإضافة إلى تسميات ClickPipes التالية:

التسمية	الوصف
`clickpipe_id`	المعرّف الفريد لـ ClickPipe
`clickpipe_name`	اسم ClickPipe
`clickpipe_source`	نوع المصدر (على سبيل المثال: `kafka` أو `postgres` أو `s3`)
`clickpipe_state`	حالة ClickPipe (على سبيل المثال: `Stopped` أو `Provisioning` أو `Running`)

استجابة نموذجية

يوضح ما يلي شكل مقاييس ClickPipes في استجابة سحب من Prometheus لـ Kafka ClickPipe. تختلف مجموعة المقاييس المعرَّضة بحسب نوع الـ pipe — راجع المقاييس المتاحة لمعرفة المقاييس التي تنطبق على أنواع الـ pipe المختلفة:

# HELP ClickPipes_Info Always equal to 1. Label "clickpipe_state" contains the current state of the pipe: Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total Total number of records fetched from the source.
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total Total number of records sent to ClickHouse
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total Total uncompressed bytes fetched from the source.
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total Total uncompressed bytes sent to ClickHouse.
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total Total errors ingesting data.
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency Time in milliseconds between when the record was produced to when it was written to ClickHouse.
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

المقاييس المتاحة

ليست كل المقاييس متاحة لكل نوع من أنواع المسارات. وعلى وجه الخصوص، توفّر ClickPipes الخاصة بـ CDC مجموعة فرعية مختلفة من المقاييس مقارنةً بـ ClickPipes الخاصة بالبث والتخزين الكائني.

البث، التخزين الكائني — Kafka وKinesis وPub/Sub وS3 وGCS
CDC — Postgres وMySQL وMongoDB وBigQuery
الكل — جميع أنواع المسارات

نقل البيانات

المقياس	النوع	متاح لـ	الوصف
`ClickPipes_FetchedBytes_Total`	عدّاد	البث، التخزين الكائني	إجمالي البايتات غير المضغوطة التي تم جلبها من المصدر.
`ClickPipes_FetchedBytesCompressed_Total`	عدّاد	جميعها	إجمالي البايتات التي تم جلبها من المصدر كما قُرئت عبر الشبكة. إذا كانت بيانات المصدر غير مضغوطة، فهذا يعادل `ClickPipes_FetchedBytes_Total`. بالنسبة إلى ClickPipes الخاصة بـ CDC، لا يشمل ذلك البايتات التي تم جلبها أثناء مرحلة التحميل الأولي، إذ يُبلَّغ عنها بشكل منفصل ضمن `ClickPipes_FetchedBytesInitialLoad_Total`.
`ClickPipes_FetchedBytesInitialLoad_Total`	عدّاد	CDC	إجمالي البايتات التي تم جلبها خلال مرحلة التحميل الأولي، بما في ذلك عمليات إعادة المزامنة.
`ClickPipes_SentBytes_Total`	عدّاد	البث، التخزين الكائني	إجمالي البايتات غير المضغوطة التي أُرسلت إلى ClickHouse.
`ClickPipes_SentBytesCompressed_Total`	عدّاد	البث، التخزين الكائني	إجمالي البايتات المضغوطة التي أُرسلت إلى ClickHouse.

الأحداث والسجلات

المقياس	النوع	متاح لـ	الوصف
`ClickPipes_FetchedEvents_Total`	عداد	البث، التخزين الكائني	إجمالي عدد السجلات التي تم جلبها من المصدر.
`ClickPipes_SentEvents_Total`	عداد	البث، التخزين الكائني	إجمالي عدد السجلات التي تم إرسالها إلى ClickHouse.
`ClickPipes_FetchedEvents_PerTable`	مقياس	CDC	عدد السجلات التي تم جلبها لكل جدول وجهة ولكل نوع حدث. يستخدم تسميتي `destination_table` و`event_type` الإضافيتين.

الأخطاء

المقياس	النوع	متاح لـ	الوصف
`ClickPipes_Errors_Total`	عدّاد	الكل	إجمالي الأخطاء التي تمت مواجهتها أثناء الاستيعاب.

زمن الاستجابة

المقياس	النوع	متاح لـ	الوصف
`ClickPipes_Latency`	مقياس (avg)	الكل	الوقت، بالمللي ثانية، بين إنشاء سجل في المصدر وكتابته إلى ClickHouse.
`ClickPipes_SourceReplicationLatency_MiB`	مقياس (avg)	CDC (Postgres فقط)	تأخر فتحة النسخ المتماثل في المصدر بوحدة MiB. لا يُصدِر هذا المقياس إلا Postgres ClickPipes.
`ClickPipes_CDC_SourceLatency`	مقياس (avg)	CDC	التأخر بالمللي ثانية من الطابع الزمني لحدث المصدر إلى معالجة ClickPipes.
`ClickPipes_CDC_DestinationLatency`	مقياس (avg)	CDC	التأخر بالمللي ثانية من وقت استلام حدث في ClickPipe حتى كتابته في جدول ClickHouse.

استخدام الموارد

تعرض مقاييس ClickPipes_Replica_* استخدام الموارد في ClickPipes الخاصة بالبث والتخزين الكائني. لكل ClickPipe قدرة حوسبية مخصصة، لذا تعكس هذه القيم مستوى الاستخدام لكل ClickPipe على حدة.

المقياس	النوع	متاح لـ	الوصف
`ClickPipes_Replica_CPUUsage`	Gauge (avg)	البث، التخزين الكائني	متوسط استخدام CPU للنسخ المتماثلة الخاصة بالاستيعاب، بوحدة millicores.
`ClickPipes_Replica_CPULimit`	Gauge (last)	البث، التخزين الكائني	حد CPU المُعدّ للنسخ المتماثلة الخاصة بالاستيعاب، بوحدة millicores.
`ClickPipes_Replica_MemoryUsage`	Gauge (avg)	البث، التخزين الكائني	متوسط استخدام الذاكرة للنسخ المتماثلة الخاصة بالاستيعاب، بالبايت.
`ClickPipes_Replica_MemoryLimit`	Gauge (last)	البث، التخزين الكائني	حد الذاكرة المُعدّ للنسخ المتماثلة الخاصة بالاستيعاب، بالبايت.

تعرض مقاييس ClickPipes_CDC_* استخدام الموارد في ClickPipes الخاصة بـ CDC. تتشارك جميع ClickPipes الخاصة بـ CDC ضمن الخدمة نفسها القدرة الحوسبية، لذا تعكس هذه القيم الاستخدام الإجمالي لجميع ClickPipes الخاصة بـ CDC في الخدمة.

المقياس	النوع	متاح لـ	الوصف
`ClickPipes_CDC_CPUUsage`	Gauge (avg)	CDC	متوسط استخدام CPU، بوحدة millicores. وهو مشترك بين جميع ClickPipes الخاصة بـ CDC في الخدمة.
`ClickPipes_CDC_CPULimit`	Gauge (last)	CDC	حد CPU المُعدّ، بوحدة millicores. وهو مشترك بين جميع ClickPipes الخاصة بـ CDC في الخدمة.
`ClickPipes_CDC_MemoryUsage`	Gauge (avg)	CDC	متوسط استخدام الذاكرة، بالبايت. وهو مشترك بين جميع ClickPipes الخاصة بـ CDC في الخدمة.
`ClickPipes_CDC_MemoryLimit`	Gauge (last)	CDC	حد الذاكرة المُعدّ، بالبايت. وهو مشترك بين جميع ClickPipes الخاصة بـ CDC في الخدمة.
`ClickPipes_CDC_NetworkReceiveBytes`	Gauge	CDC	عرض النطاق الترددي للشبكة الواردة، بالبايت (دلتا لكل نافذة scrape). وهو مشترك بين جميع ClickPipes الخاصة بـ CDC في الخدمة.

الحالة والتقدم

المقياس	النوع	متاح لـ	الوصف
`ClickPipes_Info`	مقياس	الجميع	يساوي دائمًا `1`. استخدم التسمية `clickpipe_state` للتصفية أو التنبيه استنادًا إلى حالة الـ pipe.
`ClickPipes_LastFetchedBatchId`	مقياس	CDC	معرّف آخر دفعة جرى جلبها من المصدر.
`ClickPipes_LastSentBatchId`	مقياس	CDC	معرّف آخر دفعة أُرسلت إلى ClickHouse.

نقطة نهاية Prometheus — مرجع نقطة النهاية والمصادقة والإعداد للأدوات الخارجية (مثل Grafana وDatadog)
الإبلاغ عن الأخطاء — حيث تُخزَّن أخطاء السجلات وأخطاء النظام

ClickPipes للبيانات المتدفقة

ClickPipes لتخزين الكائنات

ClickPipes لـ CDC

الوصول البرمجي

الشبكات

تسميات المقاييس

استجابة نموذجية

المقاييس المتاحة

نقل البيانات

الأحداث والسجلات

الأخطاء

زمن الاستجابة

استخدام الموارد

الحالة والتقدم

​تسميات المقاييس

​استجابة نموذجية

​المقاييس المتاحة

​نقل البيانات

​الأحداث والسجلات

​الأخطاء

​زمن الاستجابة

​استخدام الموارد

​الحالة والتقدم

​صفحات ذات صلة

تسميات المقاييس

استجابة نموذجية

المقاييس المتاحة

نقل البيانات

الأحداث والسجلات

الأخطاء

زمن الاستجابة

استخدام الموارد

الحالة والتقدم

صفحات ذات صلة