يمكنك استخدام ClickPipes لاستيعاب البيانات من قاعدة بيانات Postgres المصدر إلى ClickHouse Cloud. ويمكن أن تكون قاعدة بيانات Postgres المصدر ClickHouse Managed Postgres، أو مستضافة محليًا أو في السحابة، بما في ذلك Amazon RDS وGoogle Cloud SQL وAzure Database for Postgres وSupabase وغيرها.يمكن نشر Postgres ClickPipes وإدارتها يدويًا عبر واجهة ClickPipes، وكذلك برمجيًا باستخدام OpenAPI وTerraform.
المتطلبات المسبقة
للبدء، عليك أولاً التأكد من أن قاعدة بيانات Postgres لديك مُعدّة بشكل صحيح. وبناءً على مثيل Postgres المصدر الذي تستخدمه، يمكنك اتباع أيٍّ من الأدلة التالية:- ClickHouse Managed Postgres، الذي يأتي جاهزًا مع تفعيل النسخ المتماثل المنطقي والسماح بوصول ClickPipes.
- Amazon RDS Postgres
- Amazon Aurora Postgres
- Supabase Postgres
- Google Cloud SQL Postgres
- Azure Flexible Server for Postgres
- Neon Postgres
- Crunchy Bridge Postgres
- مصدر Postgres عام، إذا كنت تستخدم أي موفّر Postgres آخر أو مثيلاً ذاتي الاستضافة.
- TimescaleDB، إذا كنت تستخدم امتداد TimescaleDB على خدمة مُدارة أو مثيلاً ذاتي الاستضافة.
إنشاء ClickPipe الخاص بك
تأكد من تسجيل دخولك إلى حسابك في ClickHouse Cloud. وإذا لم يكن لديك حساب بعد، يمكنك التسجيل من هنا.- في وحدة تحكم ClickHouse Cloud، انتقل إلى خدمة ClickHouse Cloud الخاصة بك.
- حدّد زر
Data Sourcesفي القائمة الجانبية اليسرى وانقر على “Set up a ClickPipe”
-
حدّد بطاقة
Postgres CDC
إضافة اتصال قاعدة بيانات Postgres المصدر
- أدخل تفاصيل الاتصال الخاصة بقاعدة بيانات Postgres المصدر التي هيّأتها في خطوة المتطلبات المسبقة.
قبل أن تبدأ بإضافة تفاصيل الاتصال، تأكد من أنك أضفت عناوين IP الخاصة بـ ClickPipes إلى قائمة السماح في قواعد جدار الحماية لديك. يمكنك العثور على قائمة عناوين IP الخاصة بـ ClickPipes هنا.
لمزيد من المعلومات، راجع أدلة إعداد Postgres المصدر المرتبطة في أعلى هذه الصفحة.
(اختياري) إعداد AWS Private Link
يمكنك استخدام AWS Private Link للاتصال بقاعدة بيانات Postgres المصدر إذا كانت مستضافة على AWS. وهذا مفيد إذا كنت ترغب في إبقاء نقل البيانات خاصاً. يمكنك اتباع دليل الإعداد لتهيئة الاتصال.(اختياري) تغيير إعدادات TLS
افتراضيًا، سيتم إنشاء ClickPipe مع تفعيل TLS والتحقق من الشهادة. ويمكن تعديل هذه الإعدادات الافتراضية عند إنشاء ClickPipe:Disable TLSيبدّل TLS للاتصال بين التفعيل والتعطيل. ويعني تعطيل TLS أن البيانات تُرسل كنص غير مشفّر عبر الشبكة، وقد يشمل ذلك الأسرار والبيانات الحساسة.Skip certificate verificationيبدّل التحقق من الشهادة التي تعرضها قاعدة البيانات المصدر بين التفعيل والتعطيل. يُرجى مراعاة الآثار الأمنية المترتبة على تخطي التحقق من الشهادة.TLS Host(اختياري، والقيمة الافتراضية هي Host للمصدر) هو اسم المضيف الذي يجب أن يتطابق معه CN الخاص بالشهادة عند تفعيل التحقق من الشهادة.Upload CAيمكن استخدامه لتوفير CA تُستخدم عند تفعيل التحقق من الشهادة.
(اختياري) إعداد SSH tunneling
يمكنك تحديد تفاصيل SSH tunneling إذا كانت قاعدة بيانات Postgres المصدر غير متاحة للوصول العام.- فعّل مفتاح التبديل “Use SSH Tunnelling”.
- أدخل تفاصيل اتصال SSH.
-
لاستخدام المصادقة المعتمدة على المفاتيح، انقر على “Revoke and generate key pair” لإنشاء زوج مفاتيح جديد، ثم انسخ المفتاح العام الذي تم إنشاؤه إلى خادم SSH لديك في الملف
~/.ssh/authorized_keys. - انقر على “Verify Connection” للتحقق من الاتصال.
تأكد من إضافة عناوين IP الخاصة بـ ClickPipes إلى قائمة السماح في قواعد الـ firewall الخاصة بمضيف SSH bastion حتى يتمكن ClickPipes من إنشاء نفق SSH.
تكوين إعدادات النسخ المتماثل
- تأكد من اختيار فتحة النسخ المتماثل التي أنشأتها في خطوة المتطلبات المسبقة من القائمة المنسدلة.
الإعدادات المتقدمة
يمكنك تهيئة الإعدادات المتقدمة إذا لزم الأمر. وفيما يلي وصف موجز لكل إعداد:- Sync interval: هذه هي الفترة الزمنية التي يستطلع خلالها ClickPipes قاعدة البيانات المصدر بحثًا عن التغييرات. ولهذا تأثير على خدمة ClickHouse الوجهة، لذا نوصي المستخدمين الحساسين للتكلفة بإبقاء هذه القيمة مرتفعة (أكثر من
3600). - Parallel threads for initial load: هذا هو عدد العمليات المتوازية (workers) التي ستُستخدم لجلب اللقطة الأولية. وهو مفيد عندما يكون لديك عدد كبير من الجداول وترغب في التحكم في عدد العمليات المتوازية المستخدمة لجلب اللقطة الأولية. ينطبق هذا الإعداد على كل جدول على حدة.
- Pull batch size: عدد الصفوف المراد جلبها في دفعة واحدة. هذا إعداد يُبذل فيه أقصى جهد وقد لا يُلتزم به في جميع الحالات.
- Snapshot number of rows per partition: هذا هو عدد الصفوف التي سيتم جلبها في كل partition أثناء اللقطة الأولية. وهو مفيد عندما يكون لديك عدد كبير من الصفوف في جداولك وترغب في التحكم في عدد الصفوف المجلوبة في كل partition.
- Snapshot number of tables in parallel: هذا هو عدد الجداول التي سيتم جلبها بالتوازي أثناء اللقطة الأولية. وهو مفيد عندما يكون لديك عدد كبير من الجداول وترغب في التحكم في عدد الجداول المجلوبة بالتوازي.
تكوين الجداول
- هنا يمكنك تحديد قاعدة البيانات الهدف الخاصة بـ ClickPipe لديك. يمكنك إما اختيار قاعدة بيانات موجودة أو إنشاء قاعدة بيانات جديدة.
- يمكنك تحديد الجداول التي ترغب في نسخها المتماثل من قاعدة بيانات Postgres المصدر. وأثناء تحديد الجداول، يمكنك أيضًا إعادة تسمية الجداول في قاعدة بيانات ClickHouse الوجهة، إضافةً إلى استبعاد أعمدة محددة.
- بالإضافة إلى ذلك، يمكنك توفير تعبير مخصص
PARTITION BY <expr>للتحكم في تقسيم جدول ClickHouse الوجهة.
مراجعة الأذونات وبدء تشغيل ClickPipe
- حدّد دور “Full access” من قائمة الأذونات المنسدلة ثم انقر على “Complete Setup”.