Skip to main content

​
الأسئلة الشائعة حول Kafka ClickPipes

​
عام

تستخدم ClickPipes معمارية مخصصة تُشغِّل واجهة برمجة تطبيقات Kafka Consumer لقراءة البيانات من topic محدد، ثم تُدرِج هذه البيانات في جدول ClickHouse على خدمة ClickHouse Cloud محددة.
يُعد Kafka Table engine إحدى الإمكانات الأساسية في ClickHouse، ويطبّق “نموذج السحب” حيث يتصل ClickHouse server نفسه بـ Kafka، ويسحب الأحداث ثم يكتبها محليًا.أما ClickPipes فهي خدمة سحابية منفصلة تعمل بشكل مستقل عن خدمة ClickHouse. إذ تتصل بـ Kafka (أو بمصادر بيانات أخرى) وتدفع الأحداث إلى خدمة ClickHouse Cloud مرتبطة بها. وتتيح هذه المعمارية المنفصلة مرونة تشغيلية أكبر، وفصلًا واضحًا للمسؤوليات، وإدخالًا قابلًا للتوسع، وإدارة سلسة للإخفاقات، وقابلية للتوسعة، وغير ذلك.
لاستخدام ClickPipes for Kafka، ستحتاج إلى broker Kafka قيد التشغيل وإلى خدمة ClickHouse Cloud مفعّلة عليها ClickPipes. كما ستحتاج إلى التأكد من أن ClickHouse Cloud يمكنه الوصول إلى broker Kafka لديك. ويمكن تحقيق ذلك عبر السماح بالاتصال عن بُعد من جهة Kafka، وإضافة عناوين IP الصادرة من ClickHouse Cloud إلى القائمة المسموح بها في إعدادات Kafka لديك. وبدلًا من ذلك، يمكنك استخدام AWS PrivateLink لربط ClickPipes for Kafka بـ brokers Kafka لديك.
لا، فـ ClickPipes for Kafka مصممة لقراءة البيانات من topics في Kafka، وليس لكتابة البيانات إليها. ولكتابة البيانات إلى Kafka topic، ستحتاج إلى استخدام منتِج Kafka مخصص.
نعم، إذا كانت هذه brokers جزءًا من quorum واحدة، فيمكن إعدادها معًا مع الفصل بينها باستخدام ,.
نعم، يمكن توسيع ClickPipes المخصصة للبثّ أفقيًا وعموديًا. تضيف التوسعة الأفقية المزيد من replicas لزيادة معدل النقل، بينما تزيد التوسعة العمودية الموارد (CPU وRAM) المخصصة لكل replica للتعامل مع workloads أكثر كثافة. يمكن ضبط ذلك أثناء إنشاء ClickPipe، أو في أي وقت لاحق من خلال Settings -> Advanced Settings -> Scaling.
تعرض واجهة اكتشاف topics في ClickPipes ما يصل إلى 1,500 topic افتراضيًا. إذا كانت Kafka cluster لديك تحتوي على أكثر من 1,500 topic، فقد لا تظهر بعض topics في القائمة المنسدلة. للتحقق من وجود الـ topic، افحصها مباشرةً باستخدام عميل Kafka وببيانات الاعتماد نفسها. وإذا تأكد وجودها وكنت بحاجة إلى رفع حد العرض إلى أكثر من 1,500، فتواصل مع ClickHouse Support.

​
Azure Event Hubs

لا. يتطلب ClickPipes أن تكون واجهة Kafka مفعّلة على مساحة الاسم الخاصة بـ Event Hubs. ولا يتوفر ذلك إلا في الفئات الأعلى من basic. راجع وثائق Azure Event Hubs لمزيد من المعلومات.
لا. يدعم ClickPipes مسجلات المخططات المتوافقة مع Confluent وAWS Glue Schema Registry، لكنه لا يدعم Azure Schema Registry. راجع مسجلات المخططات لـ Kafka ClickPipe للاطلاع على مصفوفة الدعم الحالية. إذا كنت بحاجة إلى دعم Azure Schema Registry، فتواصل مع فريقنا.
لعرض topic واستهلاك الأحداث، تتطلب سياسة الوصول المشتركة الممنوحة إلى ClickPipes، كحد أدنى، مطالبة ‘Listen’.
إذا كان مثيل ClickHouse لديك موجودًا في منطقة أو قارة تختلف عن موقع نشر Event Hubs، فقد تواجه حالات مهلة عند إعداد ClickPipes، بالإضافة إلى ارتفاع زمن الاستجابة عند استهلاك البيانات من Event Hub. نوصي بنشر ClickHouse Cloud وAzure Event Hubs في المنطقة السحابية نفسها، أو في مناطق متقاربة، لتجنب الحمل الإضافي على الأداء.
نعم. يتوقع ClickPipes أن تضمّن رقم منفذ واجهة Kafka، والذي يجب أن يكون :9093.
نعم. لتقييد حركة المرور إلى مثيل Event Hubs لديك، يُرجى إضافة عناوين static NAT IPs الموثقة إلى قواعد جدار الحماية لعناوين IP الخاصة بمساحة اسم Event Hubs لديك.
كلاهما يعمل. نوصي بشدة باستخدام سياسة وصول مشتركة على مستوى مساحة الاسم لاسترجاع عينات من عدة Event Hubs.
آخر تعديل في ١٤ أغسطس ٢٠٢٦