دمج Amazon Kinesis مع ClickHouse Cloud

يمكن نشر ClickPipes لـ Kinesis وإدارتها يدويًا عبر ClickPipes UI، وكذلك برمجيًا باستخدام OpenAPI وTerraform. يُفترض أنك اطّلعت على مقدمة ClickPipes وأعددت بيانات اعتماد IAM أو دور IAM. اتبع دليل الوصول المستند إلى الأدوار في Kinesis للحصول على معلومات حول كيفية إعداد دور يعمل مع ClickHouse Cloud.

​

إنشاء أول ClickPipe لك

1. افتح SQL Console الخاصة بخدمة ClickHouse Cloud لديك.

2. حدِّد زر Data Sources من القائمة الجانبية اليسرى، ثم انقر على “إعداد ClickPipe”

3. حدِّد مصدر البيانات.

4. املأ النموذج بإدخال اسم لـ ClickPipe ووصف له (اختياري)، ودور IAM أو بيانات الاعتماد الخاصة بك، بالإضافة إلى تفاصيل الاتصال الأخرى.

5. حدِّد تدفق Kinesis وتنسيق البيانات وإزاحة البدء. بالنسبة إلى Protobuf، ارفع ملف .proto أو FileDescriptorSet مُسلسلًا (بحد أقصى 768 KiB). ولا يُشترط وجود schema registry. تعرض واجهة المستخدم بيانات العينة من التدفق المحدد. ويكون خيار Use Kinesis Enhanced Fan-Out مُمكّنًا افتراضيًا. راجع توثيق Amazon Kinesis لمزيد من التفاصيل.

6. في الخطوة التالية، يمكنك اختيار ما إذا كنت تريد إدخال البيانات إلى جدول ClickHouse جديد أو إعادة استخدام جدول موجود. اتبع الإرشادات الظاهرة على الشاشة لتعديل اسم الجدول والمخطط والإعدادات. ويمكنك رؤية معاينة فورية لتغييراتك في الجدول النموذجي بالأعلى.

يمكنك أيضًا تخصيص الإعدادات المتقدمة باستخدام عناصر التحكم المتاحة

7. أو يمكنك اختيار إدخال بياناتك في جدول ClickHouse موجود. في هذه الحالة، ستتيح لك واجهة المستخدم تعيين حقول المصدر إلى حقول ClickHouse في الجدول الوجهة المحدد.

8. أخيرًا، يمكنك تهيئة الأذونات لمستخدم ClickPipes الداخلي.

الأذونات: سيُنشئ ClickPipes مستخدمًا مخصصًا لكتابة البيانات إلى الجدول الوجهة. يمكنك تحديد دور لهذا المستخدم الداخلي باستخدام دور مخصص أو أحد الأدوار المعرّفة مسبقًا:

• Full access: وصول كامل إلى العنقود. قد يكون ذلك مفيدًا إذا كنت تستخدم عرض مُجسَّد أو Dictionary مع الجدول الوجهة.
  • Only destination table: مع أذونات INSERT على الجدول الوجهة فقط.

9. عند النقر على “إكمال الإعداد”، سيسجّل النظام ClickPipe الخاص بك، وستتمكن من رؤيته مُدرجًا في جدول الملخص.

يوفر جدول الملخص عناصر تحكم لعرض بيانات العينة من المصدر أو من الجدول الوجهة في ClickHouse بالإضافة إلى عناصر تحكم لإزالة ClickPipe وعرض ملخص مهمة الإدخال.

10. تهانينا! لقد أعددت أول ClickPipe بنجاح. إذا كان هذا ClickPipe من نوع streaming، فسيستمر في العمل بشكل متواصل مع إدخال البيانات في الوقت الفعلي من مصدر البيانات البعيد لديك. أما إذا لم يكن كذلك، فسيُدخل الدفعة ثم يكتمل.

التنسيقات المدعومة هي:

• JSON
• Protobuf

يكتشف ClickPipes for Kinesis السجلات المضغوطة ويفك ضغطها تلقائيًا. وعلى عكس Kafka، حيث تتولى مكتبة العميل فك الضغط تلقائيًا وبشفافية، يرسل Kinesis بايتات خام — ويتولى ClickPipes هذه المهمة نيابةً عنك من دون الحاجة إلى أي إعدادات. ترميزات الضغط التالية مدعومة:

• gzip
• zstd
• lz4
• snappy (تنسيق مؤطر)

يُكتشف الضغط تلقائيًا من خلال البايتات السحرية في كل سجل. وإذا لم يُعثر على توقيع ضغط معروف، فسيُعامَل السجل على أنه غير مضغوط. كما يظهر نوع الضغط المكتشَف أثناء استنتاج المخطط، بحيث تعرض معاينة بيانات العينة في UI البيانات المفكوكة الضغط بشكل صحيح. تدعم ClickPipes حاليًا أنواع البيانات التالية في ClickHouse:

• الأنواع الرقمية الأساسية - [U]Int8/16/32/64، وFloat32/64، وBFloat16
• أنواع الأعداد الصحيحة الكبيرة - [U]Int128/256
• أنواع Decimal
• Boolean
• String
• FixedString
• Date وDate32
• DateTime وDateTime64 (المناطق الزمنية UTC فقط)
• Enum8/Enum16
• معرّف UUID
• IPv4
• IPv6
• جميع أنواع LowCardinality في ClickHouse
• Map بمفاتيح وقيم من أيٍ من الأنواع المذكورة أعلاه (بما في ذلك Nullable)
• Tuple وArray بعناصر من أيٍ من الأنواع المذكورة أعلاه (بما في ذلك Nullable، وبعمق مستوى واحد فقط)
• أنواع SimpleAggregateFunction (لوجهات AggregatingMergeTree أو SummingMergeTree)

يمكنك تحديد نوع Variant يدويًا (مثل Variant(String, Int64, DateTime)) لأي حقل JSON في تدفق بيانات المصدر. ونظرًا إلى الطريقة التي يحدد بها ClickPipes النوع الفرعي الصحيح ضمن Variant لاستخدامه، لا يمكن استخدام أكثر من نوع عدد صحيح واحد أو نوع DateTime واحد في تعريف Variant — على سبيل المثال، Variant(Int64, UInt32) غير مدعوم. يمكن إسناد حقول JSON التي تكون دائمًا كائنات JSON إلى عمود وجهة من نوع JSON. سيتعين عليك تغيير عمود الوجهة يدويًا إلى نوع JSON المطلوب، بما في ذلك أي مسارات ثابتة أو متجاهلة. الأعمدة الافتراضية التالية مدعومة لتدفق Kinesis. عند إنشاء جدول وجهة جديد، يمكن إضافة الأعمدة الافتراضية باستخدام الزر Add Column. يمكن استخدام الحقل _raw_message في الحالات التي تكون فيها الحاجة إلى سجل JSON كامل من Kinesis فقط (مثل استخدام دوال ClickHouse JsonExtract* لملء عرض مُجسَّد لاحق). بالنسبة إلى مثل هذه الـ pipes، قد يؤدي حذف جميع الأعمدة “غير الافتراضية” إلى تحسين أداء ClickPipes.

• DEFAULT غير مدعوم.
• يقتصر حجم كل رسالة افتراضيًا على 16MB (غير مضغوط) عند التشغيل بأصغر حجم نسخة متماثلة ‏(XS)، وعلى 32MB (غير مضوط) مع النسخ المتماثلة الأكبر. وستُرفض الرسائل التي تتجاوز هذا الحد مع ظهور خطأ. إذا كنت بحاجة إلى رسائل أكبر، يُرجى التواصل مع فريق الدعم.

تُدرِج ClickPipes البيانات في ClickHouse على دفعات. يهدف ذلك إلى تجنّب إنشاء عدد كبير جدًا من الأجزاء في قاعدة البيانات، ما قد يؤدي إلى مشكلات في أداء العنقود. تُدرَج الدفعات عند تحقق أحد الشروط التالية:

• عندما يبلغ حجم الدفعة الحد الأقصى (100,000 صف أو 32MB لكل 1GB من ذاكرة النسخة المتماثلة)
• عندما تظل الدفعة مفتوحة للمدة القصوى (5 ثوانٍ)

يعتمد زمن الاستجابة (المُعرَّف بأنه الوقت بين إرسال رسالة Kinesis إلى التدفق وإتاحة الرسالة في ClickHouse) على عدد من العوامل (مثل زمن استجابة Kinesis، وزمن استجابة الشبكة، وحجم الرسالة/تنسيقها). كما أن التجميع على دفعات الموضَّح في القسم أعلاه سيؤثر أيضًا في زمن الاستجابة. نوصي دائمًا باختبار حالة الاستخدام الخاصة بك لفهم زمن الاستجابة المتوقع. إذا كانت لديك متطلبات محددة لزمن استجابة منخفض، يُرجى التواصل معنا. قد يؤدي وجود عدد كبير من الشظايا النشطة إلى خفض إنتاجية ClickPipe إذا لم يكن الـ ClickPipe موسّعًا بالقدر الكافي للتعامل معها. صُمِّم ClickPipes for Kinesis ليدعم التوسّع أفقيًا وعموديًا. وبشكلٍ افتراضي، ننشئ مجموعة مستهلكين تضم مستهلكًا واحدًا. ويمكن تهيئة ذلك أثناء إنشاء ClickPipe، أو في أي وقت لاحق ضمن الإعدادات -> الإعدادات المتقدمة -> التوسّع. يوفّر ClickPipes إتاحة عالية من خلال معمارية موزعة عبر مناطق التوفّر. ويتطلّب ذلك التوسّع إلى مستهلكين اثنين على الأقل. وبغضّ النظر عن عدد المستهلكين قيد التشغيل، فإن تحمّل الأعطال متوفّر بحكم التصميم. فإذا تعطّل مستهلك أو البنية التحتية الأساسية التابعة له، فسيُعيد ClickPipe تشغيل المستهلك تلقائيًا ويواصل معالجة الرسائل.

​

المصادقة

للوصول إلى تدفقات Kinesis من Amazon، يمكنك استخدام بيانات اعتماد IAM أو دور IAM. ولمزيد من التفاصيل حول كيفية إعداد دور IAM، يمكنك الرجوع إلى هذا الدليل للاطلاع على معلومات حول كيفية إعداد دور متوافق مع ClickHouse Cloud