لماذا تستخدم ClickHouse مع تنسيقات الجداول المفتوحة؟
الاستعلام عن البيانات الموجودة في موضعها الأصلي
يمكن لـ ClickHouse الاستعلام عن تنسيقات الجداول المفتوحة مباشرةً من تخزين الكائنات من دون تكرار البيانات. ويمكن للمؤسسات التي تعتمد Iceberg أو Delta Lake أو Hudi أو Paimon كمعيار موحّد توجيه ClickHouse إلى الجداول الحالية لديها، واستخدام لهجة SQL الخاصة به ووظائفه التحليلية وقارئ Parquet الأصلي عالي الكفاءة فورًا. وفي الوقت نفسه، تتيح أدوات مثل clickhouse-local وchDB إجراء تحليل استكشافي مخصص عبر أكثر من 70 تنسيق ملفات في التخزين البعيد، مما يتيح للمستخدمين استكشاف مجموعات بيانات بحيرة البيانات تفاعليًا من دون أي إعداد للبنية التحتية. يمكن للمستخدمين تحقيق ذلك إما عبر القراءة المباشرة باستخدام دوال الجداول ومحركات الجداول، أو من خلال الاتصال بكتالوج بيانات.إضافة compute إلى استعلامات محددة
يتيح لك On-Demand Compute، المتاح حاليًا في private preview، تشغيل استعلاماتSELECT المؤهلة على بيانات Apache Iceberg وDelta Lake المدعومة عبر workers إضافيين في ClickHouse، وذلك من خلال الـ service والـ endpoint الحاليين ودون الحاجة إلى تغيير حجم الـ service. ويُقدَّم التوافر على أساس أفضل جهد ممكن، وتتفاوت الـ performance، ولا تنطبق أهداف مستوى الخدمة (SLOs) واتفاقيات مستوى الخدمة (SLAs) الخاصة بـ ClickHouse Cloud. راجع توثيق On-Demand Compute للاطلاع على شروط الأهلية والقيود.
أحمال العمل التحليلية في الوقت الفعلي مع ClickHouse
بالنسبة إلى أحمال العمل التي تتطلب تزامنًا عاليًا واستجابات بزمن وصول منخفض، يمكن للمستخدمين تحميل البيانات من تنسيقات الجداول المفتوحة إلى محرك MergeTree في ClickHouse. يوفّر ذلك طبقة تحليلات في الوقت الفعلي فوق البيانات القادمة من بحيرة بيانات، بما يدعم لوحات المعلومات والتقارير التشغيلية وغيرها من أحمال العمل الحساسة لزمن الوصول التي تستفيد من التخزين العمودي وإمكانات الفهرسة في MergeTree. راجع دليل البدء الخاص بـ تسريع التحليلات باستخدام MergeTree.الصلاحيات
قراءة البيانات مباشرةً
يوفّر ClickHouse دوال الجداول والمحرّكات لقراءة تنسيقات الجداول المفتوحة مباشرةً من تخزين الكائنات. وتتيح دوال مثلiceberg() وdeltaLake() وhudi() وpaimon() للمستخدمين الاستعلام عن جداول بتنسيقات الجداول المفتوحة من داخل عبارة SQL من دون أي إعداد مسبق. وتتوفر إصدارات من هذه الدوال لمعظم خدمات تخزين الكائنات الشائعة، مثل S3 وAzure Blob Storage وGCS. كما تتوفر لهذه الدوال محرّكات جداول مكافئة يمكن استخدامها لإنشاء جداول داخل ClickHouse تشير إلى تخزين الكائنات الأساسي لتنسيقات الجداول المفتوحة، مما يجعل الاستعلام أكثر سهولة.
راجع دليل البدء الخاص بنا حول الاستعلام مباشرةً، أو الاتصال بكتالوج بيانات.
إتاحة الكتالوجات كقواعد بيانات
باستخدام محرك قاعدة البياناتDataLakeCatalog، يمكن للمستخدمين ربط ClickHouse بكتالوج خارجي وإتاحته كقاعدة بيانات. وتظهر الجداول المسجّلة في الكتالوج كجداول داخل ClickHouse، مما يتيح استخدام كامل إمكانات ClickHouse SQL والوظائف التحليلية بشكل شفاف. وهذا يعني أنه يمكن للمستخدمين إجراء الاستعلامات والربط والتجميع عبر الجداول التي يديرها الكتالوج كما لو كانت جداول ClickHouse أصلية، مع الاستفادة من تحسين الاستعلامات في ClickHouse، والتنفيذ المتوازي، وإمكانات القراءة.
تشمل الكتالوجات المدعومة ما يلي:
راجع دليل البدء الخاص بـ الاتصال بالكتالوجات.
إعادة الكتابة إلى تنسيقات الجداول المفتوحة
يدعم ClickHouse إعادة كتابة البيانات إلى تنسيقات الجداول المفتوحة، ويكون ذلك مناسبًا في سيناريوهات مثل:- من الوقت الفعلي إلى التخزين طويل الأمد - تمر البيانات عبر ClickHouse بوصفه طبقة للتحليلات في الوقت الفعلي، ويحتاج المستخدمون إلى ترحيل النتائج إلى Iceberg أو تنسيقات أخرى لتخزين طويل الأمد يتسم بالمتانة والكفاءة من حيث التكلفة.
- ETL العكسي - يُجري المستخدمون التحويلات داخل ClickHouse باستخدام العروض المادية أو الاستعلامات المجدولة، ويرغبون في حفظ النتائج في تنسيقات الجداول المفتوحة لتستخدمها أدوات أخرى ضمن منظومة البيانات.