> ## Documentation Index > Fetch the complete documentation index at: https://private-7c7dfe99-parallel-read-in-order-multi-part.mintlify.site/llms.txt > Use this file to discover all available pages before exploring further. > استكشف ClickHouse باستخدام مجموعة بيانات لمليارات رحلات سيارات الأجرة ومركبات النقل المدفوعة (Uber وLyft وغيرها) المنطلقة من مدينة نيويورك منذ عام 2009 # التحليل الجغرافي المكاني باستخدام مجموعة بيانات سيارات الأجرة في نيويورك export const RunnableCode = ({children, run = false, showStats = true}) => { const [results, setResults] = useState(null); const [error, setError] = useState(null); const [loading, setLoading] = useState(false); const [showResults, setShowResults] = useState(false); const [stats, setStats] = useState(null); const [isDark, setIsDark] = useState(false); const [hoveredRow, setHoveredRow] = useState(-1); const codeRef = useRef(null); useEffect(() => { if (typeof window !== "undefined") { const check = () => setIsDark(document.documentElement.classList.contains("dark")); check(); const observer = new MutationObserver(check); observer.observe(document.documentElement, { attributes: true, attributeFilter: ["class"] }); return () => observer.disconnect(); } }, []); useEffect(() => { if (codeRef.current) { const block = codeRef.current.querySelector(".code-block"); if (block) { block.style.marginBottom = "0"; block.style.marginTop = "0"; block.style.borderBottomLeftRadius = "0"; block.style.borderBottomRightRadius = "0"; } } }); const getSqlText = () => { if (!codeRef.current) return ""; const code = codeRef.current.querySelector("code"); return (code || codeRef.current).textContent.trim(); }; const executeQuery = async () => { const sql = getSqlText(); if (!sql) return; setLoading(true); setError(null); setResults(null); setShowResults(true); try { const cleanQuery = sql.replace(/;$/, "").trim(); const params = new URLSearchParams({ query: cleanQuery, default_format: "JSONCompact", result_overflow_mode: "break", read_overflow_mode: "break", allow_experimental_analyzer: "1" }); const res = await fetch(`https://sql-clickhouse.clickhouse.com/?${params.toString()}`, { method: "POST", headers: { Authorization: `Basic ${btoa(`demo:`)}` } }); const text = await res.text(); if (!res.ok) { setError(text || `HTTP ${res.status}`); setLoading(false); return; } const json = JSON.parse(text); setResults(json); setStats(json.statistics || null); } catch (err) { setError(err.message || "فشل تنفيذ الاستعلام"); } setLoading(false); }; useEffect(() => { if (run) executeQuery(); }, []); const formatRows = n => { if (n >= 1e9) return `${(n / 1e9).toFixed(1)}B`; if (n >= 1e6) return `${(n / 1e6).toFixed(1)}M`; if (n >= 1e3) return `${(n / 1e3).toFixed(1)}K`; return String(n); }; const formatBytes = b => { if (b >= 1e9) return `${(b / 1e9).toFixed(2)} GB`; if (b >= 1e6) return `${(b / 1e6).toFixed(2)} MB`; if (b >= 1e3) return `${(b / 1e3).toFixed(2)} KB`; return `${b} B`; }; const isNumericType = type => { return (/^(UInt|Int|Float|Decimal)/).test(type); }; const isHyperlink = value => { return typeof value === "string" && (/^https?:\/\//).test(value); }; const computeColumnExtremes = (meta, data) => { const extremes = {}; for (let i = 0; i < meta.length; i++) { if (isNumericType(meta[i].type)) { let min = Infinity, max = -Infinity; for (const row of data) { const v = Number(row[i]); if (!isNaN(v)) { if (v < min) min = v; if (v > max) max = v; } } if (max > -Infinity) { extremes[i] = { min, max }; } } } return extremes; }; const computeColumnWidths = (meta, data) => { const lengths = meta.map((col, i) => { const headerLen = col.name.length + col.type.length + 1; let maxData = 0; for (const row of data) { const v = row[i]; const len = v === null ? 4 : String(v).length; if (len > maxData) maxData = len; } return Math.max(headerLen, maxData); }); const total = lengths.reduce((s, l) => s + l, 0); return lengths.map(l => `${(l / total * 100).toFixed(1)}%`); }; const copyResultsAsTSV = () => { if (!results || !results.meta || !results.data) return; const header = results.meta.map(col => col.name).join("\t"); const rows = results.data.map(row => row.map(cell => cell === null ? "NULL" : String(cell)).join("\t")); const tsv = [header, ...rows].join("\n"); navigator.clipboard.writeText(tsv); }; const borderColor = isDark ? "rgba(255,255,255,0.15)" : "#e5e7eb"; const bgColor = isDark ? "rgba(255,255,255,0.05)" : "#f9fafb"; const headerBg = isDark ? "#2a2a2a" : "#f3f4f6"; const textColor = isDark ? "#e5e7eb" : "#1f2937"; const mutedColor = isDark ? "#d1d5db" : "#6b7280"; const accentColor = isDark ? "#FAFF69" : "#323232"; const accentTextColor = isDark ? "#000" : "#fff"; const barColor = isDark ? "#35372f" : "#d2d2d2"; const cellBg = isDark ? "#1f201b" : "#ffffff"; const cellBgHover = isDark ? "lch(15.8 0 0)" : "#f0f0f0"; const extremes = results && results.meta && results.data ? computeColumnExtremes(results.meta, results.data) : {}; const colWidths = results && results.meta && results.data ? computeColumnWidths(results.meta, results.data) : []; const getCellBarStyle = (cell, ci, ri) => { if (cell === null) return null; const colMeta = results.meta[ci]; if (!isNumericType(colMeta.type) || !extremes[ci] || results.data.length <= 1 || extremes[ci].max <= 0) return null; const ratio = 100 * Number(cell) / extremes[ci].max; const bg = ri === hoveredRow ? cellBgHover : cellBg; return { background: `linear-gradient(to right, ${barColor} 0%, ${barColor} ${ratio}%, ${bg} ${ratio}%, ${bg} 100%)` }; }; const renderCell = (cell, ci) => { if (cell === null) { return NULL; } const value = String(cell); if (isHyperlink(value)) { return {value} ; } return value; }; return
{}
{children}
{}
{results && } {showStats && stats && تمت قراءة {formatRows(stats.rows_read)} صفوف، {formatBytes(stats.bytes_read)} في {stats.elapsed.toFixed(3)}ث }
{} {showResults &&
{loading &&
جارٍ تنفيذ الاستعلام...
} {error &&
{error}
} {results && results.meta && results.data &&
{results.meta.map((col, i) =>
1 ? "right" : "left", backgroundColor: headerBg, borderBottom: `1px solid ${borderColor}`, color: textColor, fontWeight: 600, fontSize: "12px", whiteSpace: "nowrap", overflow: "hidden", textOverflow: "ellipsis" }}> {col.name} {col.type}
)} {results.data.map((row, ri) => row.map((cell, ci) =>
setHoveredRow(ri)} onMouseLeave={() => setHoveredRow(-1)} style={{ padding: "4px 12px", color: textColor, whiteSpace: "nowrap", overflow: "hidden", textOverflow: "ellipsis", textAlign: isNumericType(results.meta[ci].type) && results.meta.length > 1 ? "right" : "left", borderBottom: `1px solid ${borderColor}`, backgroundColor: ri === hoveredRow ? cellBgHover : ri % 2 === 0 ? "transparent" : bgColor, ...getCellBarStyle(cell, ci, ri) }}> {renderCell(cell, ci)}
))}
} {results && results.data &&
{results.rows} {results.rows !== 1 ? "صفوف" : "صف"}
}
}
; }; ستتعرّف في هذا الدليل العملي على كيفية استخدام ClickHouse لتنفيذ استعلامات تحليلية على كميات ضخمة من البيانات. كما ستتعلّم كيفية استخدام قاموس لإثراء البيانات، وكيفية كتابة استعلامات الدمج (join). ## المتطلبات الأساسية ستحتاج في هذا الدليل العملي إلى ما يلي: * [حساب على ClickHouse Cloud](https://clickhouse.cloud/signUp?loc=docs-sample-datasets-nyc-taxi) (تحصل على رصيد مجاني بقيمة 300 دولار عند التسجيل) * [خدمة ClickHouse Cloud](/ar/get-started/setup/cloud#1-create-a-clickhouse-service) مجموعة البيانات المستخدمة في هذا الدليل العملي هي مجموعة بيانات سيارات الأجرة في مدينة نيويورك، وتتضمن تفاصيل ملايين رحلات سيارات الأجرة، وتحتوي على أعمدة مثل مبلغ الإكرامية ورسوم الطرق ونوع الدفع وغيرها. 1. اختر **SQL console** من القائمة الجانبية اليسرى 2. انقر على علامة التبويب **+** المجاورة لأيقونة الصفحة الرئيسية لإنشاء استعلام جديد 3. اكتب الاستعلام التالي في محرر SQL، ثم انقر على **Run**: ```sql Expandable theme={null} CREATE TABLE trips ( `trip_id` UInt32, `vendor_id` Enum8('1' = 1, '2' = 2, '3' = 3, '4' = 4, 'CMT' = 5, 'VTS' = 6, 'DDS' = 7, 'B02512' = 10, 'B02598' = 11, 'B02617' = 12, 'B02682' = 13, 'B02764' = 14, '' = 15), `pickup_date` Date, `pickup_datetime` DateTime, `dropoff_date` Date, `dropoff_datetime` DateTime, `store_and_fwd_flag` UInt8, `rate_code_id` UInt8, `pickup_longitude` Float64, `pickup_latitude` Float64, `dropoff_longitude` Float64, `dropoff_latitude` Float64, `passenger_count` UInt8, `trip_distance` Float64, `fare_amount` Float32, `extra` Float32, `mta_tax` Float32, `tip_amount` Float32, `tolls_amount` Float32, `ehail_fee` Float32, `improvement_surcharge` Float32, `total_amount` Float32, `payment_type` Enum8('UNK' = 0, 'CSH' = 1, 'CRE' = 2, 'NOC' = 3, 'DIS' = 4), `trip_type` UInt8, `pickup` FixedString(25), `dropoff` FixedString(25), `cab_type` Enum8('yellow' = 1, 'green' = 2, 'uber' = 3), `pickup_nyct2010_gid` Int8, `pickup_ctlabel` Float32, `pickup_borocode` Int8, `pickup_ct2010` String, `pickup_boroct2010` String, `pickup_cdeligibil` String, `pickup_ntacode` FixedString(4), `pickup_ntaname` String, `pickup_puma` UInt16, `dropoff_nyct2010_gid` UInt8, `dropoff_ctlabel` Float32, `dropoff_borocode` UInt8, `dropoff_ct2010` String, `dropoff_boroct2010` String, `dropoff_cdeligibil` String, `dropoff_ntacode` FixedString(4), `dropoff_ntaname` String, `dropoff_puma` UInt16 ) ENGINE = MergeTree PARTITION BY toYYYYMM(pickup_date) ORDER BY pickup_datetime; ``` بعد أن أنشأت الجدول، أضف بيانات سيارات الأجرة في مدينة نيويورك من ملفات CSV المخزّنة في S3. يُدرج الأمر التالي نحو 2,000,000 صف في جدول trips من ملفين مختلفين في S3، هما: `trips_1.tsv.gz` و`trips_2.tsv.gz`: ```sql Expandable theme={null} INSERT INTO trips SELECT * FROM s3( 'https://datasets-documentation.s3.eu-west-3.amazonaws.com/nyc-taxi/trips_{1..2}.gz', 'TabSeparatedWithNames', " `trip_id` UInt32, `vendor_id` Enum8('1' = 1, '2' = 2, '3' = 3, '4' = 4, 'CMT' = 5, 'VTS' = 6, 'DDS' = 7, 'B02512' = 10, 'B02598' = 11, 'B02617' = 12, 'B02682' = 13, 'B02764' = 14, '' = 15), `pickup_date` Date, `pickup_datetime` DateTime, `dropoff_date` Date, `dropoff_datetime` DateTime, `store_and_fwd_flag` UInt8, `rate_code_id` UInt8, `pickup_longitude` Float64, `pickup_latitude` Float64, `dropoff_longitude` Float64, `dropoff_latitude` Float64, `passenger_count` UInt8, `trip_distance` Float64, `fare_amount` Float32, `extra` Float32, `mta_tax` Float32, `tip_amount` Float32, `tolls_amount` Float32, `ehail_fee` Float32, `improvement_surcharge` Float32, `total_amount` Float32, `payment_type` Enum8('UNK' = 0, 'CSH' = 1, 'CRE' = 2, 'NOC' = 3, 'DIS' = 4), `trip_type` UInt8, `pickup` FixedString(25), `dropoff` FixedString(25), `cab_type` Enum8('yellow' = 1, 'green' = 2, 'uber' = 3), `pickup_nyct2010_gid` Int8, `pickup_ctlabel` Float32, `pickup_borocode` Int8, `pickup_ct2010` String, `pickup_boroct2010` String, `pickup_cdeligibil` String, `pickup_ntacode` FixedString(4), `pickup_ntaname` String, `pickup_puma` UInt16, `dropoff_nyct2010_gid` UInt8, `dropoff_ctlabel` Float32, `dropoff_borocode` UInt8, `dropoff_ct2010` String, `dropoff_boroct2010` String, `dropoff_cdeligibil` String, `dropoff_ntacode` FixedString(4), `dropoff_ntaname` String, `dropoff_puma` UInt16 ") SETTINGS input_format_try_infer_datetimes = 0 ``` انتظر حتى يكتمل إدراج البيانات. سيجري تنزيل نحو 150MB من البيانات. بعد اكتمال إدراج البيانات، تحقّق من عدد الصفوف في جدول `trips`: ```sql theme={null} SELECT count() FROM trips ``` من المفترض أن تحصل على نتيجة تضم 1,999,657 صفًا بعد تحميل البيانات، يمكنك تشغيل بعض الاستعلامات لتحليلها. * احسب متوسط مبلغ الإكرامية: ```sql theme={null} SELECT round(avg(tip_amount), 2) FROM trips ``` * احسب متوسط التكلفة بحسب عدد الركاب: ```sql theme={null} SELECT passenger_count, ceil(avg(total_amount),2) AS average_total_amount FROM trips GROUP BY passenger_count ``` * احسب العدد اليومي للرحلات التي تبدأ من كل حي: ```sql theme={null} SELECT pickup_date, pickup_ntaname, SUM(1) AS number_of_trips FROM trips GROUP BY pickup_date, pickup_ntaname ORDER BY pickup_date ASC ``` * احسب مدة كل رحلة بالدقائق، ثم جمّع النتائج بحسب مدة الرحلة: ```sql theme={null} SELECT avg(tip_amount) AS avg_tip, avg(fare_amount) AS avg_fare, avg(passenger_count) AS avg_passenger, count() AS count, truncate(date_diff('second', pickup_datetime, dropoff_datetime)/60) as trip_minutes FROM trips WHERE trip_minutes > 0 GROUP BY trip_minutes ORDER BY trip_minutes DESC ``` * اعرض عدد الرحلات التي تبدأ من كل حي موزّعةً على ساعات اليوم: ```sql theme={null} SELECT pickup_ntaname, toHour(pickup_datetime) as pickup_hour, SUM(1) AS pickups FROM trips WHERE pickup_ntaname != '' GROUP BY pickup_ntaname, pickup_hour ORDER BY pickup_ntaname, pickup_hour ``` بعد ذلك، ستنشئ قاموسًا (وهو مجموعة من أزواج مفتاح-قيمة مخزّنة في الذاكرة) باسم `taxi_zone_dictionary` يربط بين معرّفات المواقع وأسماء الأقاليم الإدارية (boroughs) في مدينة نيويورك، ويستمد بياناته من ملف CSV يضم جميع أحياء مدينة نيويورك. تقابل هذه المعرّفات العمودين `pickup_nyct2010_gid` و`dropoff_nyct2010_gid` في جدول الرحلات. فيما يلي مقتطف من ملف CSV الذي تستخدمه، معروضًا على هيئة جدول. يقابل العمود `LocationID` في الملف العمودين `pickup_nyct2010_gid` و`dropoff_nyct2010_gid` في جدول `trips` لديك: | LocationID | Borough | Zone | service\_zone | | - | - | - | - | | 1 | EWR | Newark Airport | EWR | | 2 | Queens | Jamaica Bay | Boro Zone | | 3 | Bronx | Allerton/Pelham Gardens | Boro Zone | | 4 | Manhattan | Alphabet City | Yellow Zone | | 5 | Staten Island | Arden Heights | Boro Zone | نفّذ أمر SQL التالي، الذي ينشئ قاموسًا باسم `taxi_zone_dictionary` ويملؤه بالبيانات من ملف CSV المخزّن في S3. عنوان URL للملف هو `https://datasets-documentation.s3.eu-west-3.amazonaws.com/nyc-taxi/taxi_zone_lookup.csv`. ```sql theme={null} CREATE DICTIONARY taxi_zone_dictionary ( `LocationID` UInt16 DEFAULT 0, `Borough` String, `Zone` String, `service_zone` String ) PRIMARY KEY LocationID SOURCE(HTTP(URL 'https://datasets-documentation.s3.eu-west-3.amazonaws.com/nyc-taxi/taxi_zone_lookup.csv' FORMAT 'CSVWithNames')) LIFETIME(MIN 0 MAX 0) LAYOUT(HASHED_ARRAY()) ``` يؤدي ضبط `LIFETIME` على القيمة 0 إلى تعطيل التحديثات التلقائية، وذلك لتجنّب إرسال حركة بيانات غير ضرورية إلى حاوية S3 الخاصة بنا. أما في الحالات الأخرى، فقد ترغب في تهيئته بطريقة مختلفة. لمزيد من التفاصيل، راجع [تحديث بيانات القاموس باستخدام LIFETIME](/ar/reference/statements/create/dictionary/lifetime). تحقّق من نجاح العملية. من المفترض أن يُرجع الاستعلام التالي 265 صفًا، أي صفًا واحدًا لكل حيّ: ```sql theme={null} SELECT * FROM taxi_zone_dictionary ``` يمكنك استخدام الدالة `dictGet` ([أو أحد أشكالها](/ar/reference/functions/regular-functions/ext-dict-functions)) لاسترداد قيمة من القاموس. مرِّر إليها اسم القاموس، والقيمة المطلوبة، والمفتاح (وهو في مثالنا العمود `LocationID` من `taxi_zone_dictionary`)، فتُعيد إليك القيمة المطابقة. على سبيل المثال، يُرجع الاستعلام التالي قيمة `Borough` التي تقابل `LocationID` ذا القيمة 132 (أي مطار JFK): ```sql theme={null} SELECT dictGet('taxi_zone_dictionary', 'Borough', 132) ``` يقع مطار JFK في حي Queens. لاحظ أن الوقت المستغرق لاسترجاع القيمة يكاد يكون صفرًا: ```response theme={null} ┌─dictGet('taxi_zone_dictionary', 'Borough', 132)─┐ │ Queens │ └─────────────────────────────────────────────────┘ 1 rows in set. Elapsed: 0.004 sec. ``` استخدم الدالة `dictHas` للتحقق من وجود مفتاح معيّن في القاموس. على سبيل المثال، يُرجع الاستعلام التالي القيمة `1` (التي تعني "true" في ClickHouse): ```sql theme={null} SELECT dictHas('taxi_zone_dictionary', 132) ``` يُرجع الاستعلام التالي القيمة 0 لأن 4567 ليست من قيم `LocationID` في القاموس: ```sql theme={null} SELECT dictHas('taxi_zone_dictionary', 4567) ``` استخدم الدالة `dictGet` لاسترداد اسم الحي (borough) ضمن استعلام. على سبيل المثال: ```sql theme={null} SELECT count(1) AS total, dictGetOrDefault('taxi_zone_dictionary','Borough', toUInt64(pickup_nyct2010_gid), 'Unknown') AS borough_name FROM trips WHERE dropoff_nyct2010_gid = 132 OR dropoff_nyct2010_gid = 138 GROUP BY borough_name ORDER BY total DESC ``` يحسب هذا الاستعلام مجموع رحلات سيارات الأجرة المنتهية في مطار LaGuardia أو مطار JFK لكل borough. تبدو النتيجة كما يلي، ويُلاحَظ وجود عدد كبير من الرحلات التي يكون فيها حي الانطلاق غير معروف: ```response theme={null} ┌─total─┬─borough_name──┐ │ 23683 │ Unknown │ │ 7053 │ Manhattan │ │ 6828 │ Brooklyn │ │ 4458 │ Queens │ │ 2670 │ Bronx │ │ 554 │ Staten Island │ │ 53 │ EWR │ └───────┴───────────────┘ 7 rows in set. Elapsed: 0.019 sec. Processed 2.00 million rows, 4.00 MB (105.70 million rows/s., 211.40 MB/s.) ``` أخيرًا، اكتب بعض الاستعلامات التي تربط `taxi_zone_dictionary` بجدول `trips` لديك. ابدأ بعملية `JOIN` بسيطة تعمل على نحوٍ مشابه لاستعلام المطارات السابق: ```sql theme={null} SELECT count(1) AS total, Borough FROM trips JOIN taxi_zone_dictionary ON toUInt64(trips.pickup_nyct2010_gid) = taxi_zone_dictionary.LocationID WHERE dropoff_nyct2010_gid = 132 OR dropoff_nyct2010_gid = 138 GROUP BY Borough ORDER BY total DESC ``` تبدو النتيجة مطابقة لنتيجة استعلام `dictGet`: ```response theme={null} ┌─total─┬─Borough───────┐ │ 7053 │ Manhattan │ │ 6828 │ Brooklyn │ │ 4458 │ Queens │ │ 2670 │ Bronx │ │ 554 │ Staten Island │ │ 53 │ EWR │ └───────┴───────────────┘ 6 rows in set. Elapsed: 0.034 sec. Processed 2.00 million rows, 4.00 MB (59.14 million rows/s., 118.29 MB/s.) ``` لاحظ أن ناتج استعلام `JOIN` أعلاه مطابق لناتج الاستعلام السابق الذي استخدم `dictGetOrDefault` (باستثناء أن قيم `Unknown` غير مُضمَّنة). في الواقع، تستدعي ClickHouse خلف الكواليس الدالة `dictGet` على القاموس `taxi_zone_dictionary`، غير أن صيغة `JOIN` أكثر ألفةً لدى مطوري SQL. يُرجع هذا الاستعلام صفوف الرحلات الـ 1000 ذات أعلى قيمة إكرامية، ثم يُجري ربطًا داخليًا (inner join) بين كل صف والقاموس: ```sql theme={null} SELECT * FROM trips JOIN taxi_zone_dictionary ON trips.dropoff_nyct2010_gid = taxi_zone_dictionary.LocationID WHERE tip_amount > 0 ORDER BY tip_amount DESC LIMIT 1000 ``` يُفضَّل تحديد الأعمدة التي يحتاجها الاستعلام فقط بدلاً من استخدام SELECT \*. فنظرًا لأن ClickHouse يخزّن البيانات على هيئة أعمدة، فإن اختيار عدد أقل من الأعمدة يقلّل مباشرةً حجم البيانات التي تُقرأ ويُفك ضغطها وتُعالَج. ## الخطوات التالية تعرّف على المزيد عن ClickHouse من خلال الوثائق التالية: * [مقدمة إلى الفهارس الأساسية في ClickHouse](/ar/guides/clickhouse/data-modelling/sparse-primary-indexes): تعرّف على كيفية استخدام ClickHouse للفهارس الأساسية المتناثرة لتحديد مواقع البيانات ذات الصلة بكفاءة أثناء تنفيذ الاستعلامات. * [دمج مصدر بيانات خارجي](/ar/integrations/home): اطّلع على خيارات التكامل المتاحة مع مصادر البيانات، بما في ذلك الملفات وKafka وPostgreSQL ومسارات معالجة البيانات وغيرها الكثير. * [تصوّر البيانات في ClickHouse](/ar/integrations/connectors/data-visualization/index): اربط أداة واجهة المستخدم أو ذكاء الأعمال (BI) المفضلة لديك بـ ClickHouse. * [مرجع SQL](/ar/reference/home): تصفّح دوال SQL المتاحة في ClickHouse لتحويل البيانات ومعالجتها وتحليلها. تتألّف عينة بيانات سيارات الأجرة في نيويورك من أكثر من 3 مليارات رحلة لسيارات الأجرة ومركبات النقل بالأجرة (مثل Uber وLyft وغيرها) انطلقت من مدينة نيويورك منذ عام 2009. ويستخدم دليل البدء هذا عينة تضم 3 ملايين صف. يمكن الحصول على مجموعة البيانات الكاملة بإحدى الطريقتين التاليتين: * إدراج البيانات مباشرةً في ClickHouse Cloud من S3 أو GCS * تنزيل التقسيمات المُعدّة مسبقًا * يمكنك بدلاً من ذلك الاستعلام عن مجموعة البيانات الكاملة في بيئتنا التجريبية على [sql.clickhouse.com](https://sql.clickhouse.com/?query=U0VMRUNUIGNvdW50KCkgRlJPTSBueWNfdGF4aS50cmlwcw\&chart=eyJ0eXBlIjoibGluZSIsImNvbmZpZyI6eyJ0aXRsZSI6IlRlbXBlcmF0dXJlIGJ5IGNvdW50cnkgYW5kIHllYXIiLCJ4YXhpcyI6InllYXIiLCJ5YXhpcyI6ImNvdW50KCkiLCJzZXJpZXMiOiJDQVNUKHBhc3Nlbmdlcl9jb3VudCwgJ1N0cmluZycpIn19). نُفِّذت الاستعلامات النموذجية أدناه على مثيل **Production** في ClickHouse Cloud. لمزيد من المعلومات، راجع ["مواصفات Playground"](/ar/get-started/sample-datasets/playground#specifications). ## إنشاء الجدول trips ابدأ بإنشاء جدول لرحلات سيارات الأجرة: ```sql theme={null} CREATE DATABASE nyc_taxi; CREATE TABLE nyc_taxi.trips_small ( trip_id UInt32, pickup_datetime DateTime, dropoff_datetime DateTime, pickup_longitude Nullable(Float64), pickup_latitude Nullable(Float64), dropoff_longitude Nullable(Float64), dropoff_latitude Nullable(Float64), passenger_count UInt8, trip_distance Float32, fare_amount Float32, extra Float32, tip_amount Float32, tolls_amount Float32, total_amount Float32, payment_type Enum('CSH' = 1, 'CRE' = 2, 'NOC' = 3, 'DIS' = 4, 'UNK' = 5), pickup_ntaname LowCardinality(String), dropoff_ntaname LowCardinality(String) ) ENGINE = MergeTree PRIMARY KEY (pickup_datetime, dropoff_datetime); ``` ## تحميل البيانات مباشرةً من التخزين الكائني يمكن للمستخدمين الحصول على مجموعة فرعية صغيرة من البيانات (3 ملايين صف) للتعرّف عليها. تتوفر البيانات في ملفات TSV ضمن تخزين كائني، ويمكن نقلها تدفقيًا بسهولة إلى ClickHouse Cloud باستخدام دالة الجدول `s3`. البيانات نفسها مخزَّنة في كلٍّ من S3 وGCS؛ لذا يمكنك اختيار أيٍّ من علامتَي التبويب. يقوم الأمر التالي بدفق ثلاثة ملفات من حاوية S3 إلى الجدول `trips_small` (الصيغة `{0..2}` هي حرف بدل يطابق القيم 0 و1 و2): ```sql theme={null} INSERT INTO nyc_taxi.trips_small SELECT trip_id, pickup_datetime, dropoff_datetime, pickup_longitude, pickup_latitude, dropoff_longitude, dropoff_latitude, passenger_count, trip_distance, fare_amount, extra, tip_amount, tolls_amount, total_amount, payment_type, pickup_ntaname, dropoff_ntaname FROM s3( 'https://datasets-documentation.s3.eu-west-3.amazonaws.com/nyc-taxi/trips_{0..2}.gz', 'TabSeparatedWithNames' ); ``` يقوم الأمر التالي بدفق ثلاثة ملفات من حاوية GCS إلى الجدول `trips` (الصيغة `{0..2}` هي حرف بدل يطابق القيم 0 و1 و2): ```sql theme={null} INSERT INTO nyc_taxi.trips_small SELECT trip_id, pickup_datetime, dropoff_datetime, pickup_longitude, pickup_latitude, dropoff_longitude, dropoff_latitude, passenger_count, trip_distance, fare_amount, extra, tip_amount, tolls_amount, total_amount, payment_type, pickup_ntaname, dropoff_ntaname FROM gcs( 'https://storage.googleapis.com/clickhouse-public-datasets/nyc-taxi/trips_{0..2}.gz', 'TabSeparatedWithNames' ); ``` ## استعلامات نموذجية تُنفَّذ الاستعلامات التالية على العينة الموضَّحة أعلاه. يمكنك تشغيل الاستعلامات النموذجية على مجموعة البيانات الكاملة في [sql.clickhouse.com](https://sql.clickhouse.com/?query=U0VMRUNUIGNvdW50KCkgRlJPTSBueWNfdGF4aS50cmlwcw\&chart=eyJ0eXBlIjoibGluZSIsImNvbmZpZyI6eyJ0aXRsZSI6IlRlbXBlcmF0dXJlIGJ5IGNvdW50cnkgYW5kIHllYXIiLCJ4YXhpcyI6InllYXIiLCJ5YXhpcyI6ImNvdW50KCkiLCJzZXJpZXMiOiJDQVNUKHBhc3Nlbmdlcl9jb3VudCwgJ1N0cmluZycpIn19)، مع تعديل الاستعلامات أدناه لاستخدام الجدول `nyc_taxi.trips`. لنرَ عدد الصفوف التي أُدرجت: ```sql theme={null} SELECT count() FROM nyc_taxi.trips_small; ``` يحتوي كل ملف TSV على نحو 1M صف، ويبلغ إجمالي عدد الصفوف في الملفات الثلاثة 3,000,317 صفًا. لنلقِ نظرة على بعض الصفوف: ```sql theme={null} SELECT * FROM nyc_taxi.trips_small LIMIT 10; ``` لاحظ أن هناك أعمدة لتواريخ الالتقاط والإنزال، وإحداثيات Geo، وتفاصيل الأجرة، وأحياء نيويورك، وغير ذلك. لنُشغِّل بعض الاستعلامات. يوضّح هذا الاستعلام أفضل 10 أحياء تسجّل أعلى عدد من عمليات الالتقاط: ```sql theme={null} SELECT pickup_ntaname, count(*) AS count FROM nyc_taxi.trips_small WHERE pickup_ntaname != '' GROUP BY pickup_ntaname ORDER BY count DESC LIMIT 10; ``` يعرض هذا الاستعلام متوسط الأجرة بناءً على عدد الركاب: ```sql runnable view='chart' chart_config='eyJ0eXBlIjoiYmFyIiwiY29uZmlnIjp7InhheGlzIjoicGFzc2VuZ2VyX2NvdW50IiwieWF4aXMiOiJhdmcodG90YWxfYW1vdW50KSIsInRpdGxlIjoiQXZlcmFnZSBmYXJlIGJ5IHBhc3NlbmdlciBjb3VudCJ9fQ' theme={null} SELECT passenger_count, avg(total_amount) FROM nyc_taxi.trips_small WHERE passenger_count < 10 GROUP BY passenger_count; ``` فيما يلي علاقة بين عدد الركاب ومسافة الرحلة: ```sql runnable chart_config='eyJ0eXBlIjoiaG9yaXpvbnRhbCBiYXIiLCJjb25maWciOnsieGF4aXMiOiJwYXNzZW5nZXJfY291bnQiLCJ5YXhpcyI6ImRpc3RhbmNlIiwic2VyaWVzIjoiY291bnRyeSIsInRpdGxlIjoiQXZnIGZhcmUgYnkgcGFzc2VuZ2VyIGNvdW50In19' theme={null} SELECT passenger_count, avg(trip_distance) AS distance, count() AS c FROM nyc_taxi.trips_small GROUP BY passenger_count ORDER BY passenger_count ASC ``` ## تنزيل الأقسام المُعدّة مسبقًا توفّر الخطوات التالية معلومات عن مجموعة البيانات الأصلية، إلى جانب طريقة لتحميل التقسيمات المُعدّة مسبقًا إلى بيئة خادم ClickHouse مُدار ذاتيًا. راجع [https://github.com/toddwschneider/nyc-taxi-data](https://github.com/toddwschneider/nyc-taxi-data) و [http://tech.marksblogg.com/billion-nyc-taxi-rides-redshift.html](http://tech.marksblogg.com/billion-nyc-taxi-rides-redshift.html) للاطلاع على وصف مجموعة البيانات وتعليمات تنزيلها. سينتج عن التنزيل نحو 227 GB من البيانات غير المضغوطة في ملفات CSV. يستغرق التنزيل نحو ساعة عبر اتصال بسرعة 1 Gbit (إذ يستغل التنزيل المتوازي من s3.amazonaws.com نصف سعة قناة 1 Gbit على الأقل). قد لا يكتمل تنزيل بعض الملفات. تحقّق من أحجام الملفات وأعِد تنزيل أي ملف تشكّ في سلامته. ```bash theme={null} $ curl -O https://datasets.clickhouse.com/trips_mergetree/partitions/trips_mergetree.tar # Validate the checksum $ md5sum trips_mergetree.tar # Checksum should be equal to: f3b8d469b41d9a82da064ded7245d12c $ tar xvf trips_mergetree.tar -C /var/lib/clickhouse # path to ClickHouse data directory $ # check permissions of unpacked data, fix if required $ sudo service clickhouse-server restart $ clickhouse-client --query "select count(*) from datasets.trips_mergetree" ``` إذا كنت ستُشغِّل الاستعلامات الموضَّحة أدناه، فعليك استخدام الاسم الكامل للجدول، `datasets.trips_mergetree`. ## النتائج على خادم واحد Q1: ```sql theme={null} SELECT cab_type, count(*) FROM trips_mergetree GROUP BY cab_type; ``` 0.490 ثانية. Q2: ```sql theme={null} SELECT passenger_count, avg(total_amount) FROM trips_mergetree GROUP BY passenger_count; ``` 1.224 ثانية. الاستعلام 3: ```sql theme={null} SELECT passenger_count, toYear(pickup_date) AS year, count(*) FROM trips_mergetree GROUP BY passenger_count, year; ``` 2.104 ثانية. الاستعلام 4: ```sql theme={null} SELECT passenger_count, toYear(pickup_date) AS year, round(trip_distance) AS distance, count(*) FROM trips_mergetree GROUP BY passenger_count, year, distance ORDER BY year, count(*) DESC; ``` 3.593 ثانية. استُخدم الخادم التالي: معالجان Intel(R) Xeon(R) CPU E5-2650 v2 @ 2.60GHz، بإجمالي 16 نواة فعلية، وذاكرة RAM بسعة 128 GiB، و8 أقراص صلبة سعة كلٍّ منها 6 TB ضمن مصفوفة RAID-5 عتادية زمن التنفيذ هو أفضل نتيجة من بين ثلاث مرات تشغيل. غير أن الاستعلامات تقرأ البيانات من ذاكرة التخزين المؤقت لنظام الملفات بدءًا من مرة التشغيل الثانية. ولا يحدث أي تخزين مؤقت آخر، إذ تُقرأ البيانات وتُعالَج في كل مرة تشغيل. إنشاء جدول على ثلاثة خوادم: على كل خادم: ```sql theme={null} CREATE TABLE default.trips_mergetree_third ( trip_id UInt32, vendor_id Enum8('1' = 1, '2' = 2, 'CMT' = 3, 'VTS' = 4, 'DDS' = 5, 'B02512' = 10, 'B02598' = 11, 'B02617' = 12, 'B02682' = 13, 'B02764' = 14), pickup_date Date, pickup_datetime DateTime, dropoff_date Date, dropoff_datetime DateTime, store_and_fwd_flag UInt8, rate_code_id UInt8, pickup_longitude Float64, pickup_latitude Float64, dropoff_longitude Float64, dropoff_latitude Float64, passenger_count UInt8, trip_distance Float64, fare_amount Float32, extra Float32, mta_tax Float32, tip_amount Float32, tolls_amount Float32, ehail_fee Float32, improvement_surcharge Float32, total_amount Float32, payment_type_ Enum8('UNK' = 0, 'CSH' = 1, 'CRE' = 2, 'NOC' = 3, 'DIS' = 4), trip_type UInt8, pickup FixedString(25), dropoff FixedString(25), cab_type Enum8('yellow' = 1, 'green' = 2, 'uber' = 3), pickup_nyct2010_gid UInt8, pickup_ctlabel Float32, pickup_borocode UInt8, pickup_boroname Enum8('' = 0, 'Manhattan' = 1, 'Bronx' = 2, 'Brooklyn' = 3, 'Queens' = 4, 'Staten Island' = 5), pickup_ct2010 FixedString(6), pickup_boroct2010 FixedString(7), pickup_cdeligibil Enum8(' ' = 0, 'E' = 1, 'I' = 2), pickup_ntacode FixedString(4), pickup_ntaname Enum16('' = 0, 'Airport' = 1, 'Allerton-Pelham Gardens' = 2, 'Annadale-Huguenot-Prince\'s Bay-Eltingville' = 3, 'Arden Heights' = 4, 'Astoria' = 5, 'Auburndale' = 6, 'Baisley Park' = 7, 'Bath Beach' = 8, 'Battery Park City-Lower Manhattan' = 9, 'Bay Ridge' = 10, 'Bayside-Bayside Hills' = 11, 'Bedford' = 12, 'Bedford Park-Fordham North' = 13, 'Bellerose' = 14, 'Belmont' = 15, 'Bensonhurst East' = 16, 'Bensonhurst West' = 17, 'Borough Park' = 18, 'Breezy Point-Belle Harbor-Rockaway Park-Broad Channel' = 19, 'Briarwood-Jamaica Hills' = 20, 'Brighton Beach' = 21, 'Bronxdale' = 22, 'Brooklyn Heights-Cobble Hill' = 23, 'Brownsville' = 24, 'Bushwick North' = 25, 'Bushwick South' = 26, 'Cambria Heights' = 27, 'Canarsie' = 28, 'Carroll Gardens-Columbia Street-Red Hook' = 29, 'Central Harlem North-Polo Grounds' = 30, 'Central Harlem South' = 31, 'Charleston-Richmond Valley-Tottenville' = 32, 'Chinatown' = 33, 'Claremont-Bathgate' = 34, 'Clinton' = 35, 'Clinton Hill' = 36, 'Co-op City' = 37, 'College Point' = 38, 'Corona' = 39, 'Crotona Park East' = 40, 'Crown Heights North' = 41, 'Crown Heights South' = 42, 'Cypress Hills-City Line' = 43, 'DUMBO-Vinegar Hill-Downtown Brooklyn-Boerum Hill' = 44, 'Douglas Manor-Douglaston-Little Neck' = 45, 'Dyker Heights' = 46, 'East Concourse-Concourse Village' = 47, 'East Elmhurst' = 48, 'East Flatbush-Farragut' = 49, 'East Flushing' = 50, 'East Harlem North' = 51, 'East Harlem South' = 52, 'East New York' = 53, 'East New York (Pennsylvania Ave)' = 54, 'East Tremont' = 55, 'East Village' = 56, 'East Williamsburg' = 57, 'Eastchester-Edenwald-Baychester' = 58, 'Elmhurst' = 59, 'Elmhurst-Maspeth' = 60, 'Erasmus' = 61, 'Far Rockaway-Bayswater' = 62, 'Flatbush' = 63, 'Flatlands' = 64, 'Flushing' = 65, 'Fordham South' = 66, 'Forest Hills' = 67, 'Fort Greene' = 68, 'Fresh Meadows-Utopia' = 69, 'Ft. Totten-Bay Terrace-Clearview' = 70, 'Georgetown-Marine Park-Bergen Beach-Mill Basin' = 71, 'Glen Oaks-Floral Park-New Hyde Park' = 72, 'Glendale' = 73, 'Gramercy' = 74, 'Grasmere-Arrochar-Ft. Wadsworth' = 75, 'Gravesend' = 76, 'Great Kills' = 77, 'Greenpoint' = 78, 'Grymes Hill-Clifton-Fox Hills' = 79, 'Hamilton Heights' = 80, 'Hammels-Arverne-Edgemere' = 81, 'Highbridge' = 82, 'Hollis' = 83, 'Homecrest' = 84, 'Hudson Yards-Chelsea-Flatiron-Union Square' = 85, 'Hunters Point-Sunnyside-West Maspeth' = 86, 'Hunts Point' = 87, 'Jackson Heights' = 88, 'Jamaica' = 89, 'Jamaica Estates-Holliswood' = 90, 'Kensington-Ocean Parkway' = 91, 'Kew Gardens' = 92, 'Kew Gardens Hills' = 93, 'Kingsbridge Heights' = 94, 'Laurelton' = 95, 'Lenox Hill-Roosevelt Island' = 96, 'Lincoln Square' = 97, 'Lindenwood-Howard Beach' = 98, 'Longwood' = 99, 'Lower East Side' = 100, 'Madison' = 101, 'Manhattanville' = 102, 'Marble Hill-Inwood' = 103, 'Mariner\'s Harbor-Arlington-Port Ivory-Graniteville' = 104, 'Maspeth' = 105, 'Melrose South-Mott Haven North' = 106, 'Middle Village' = 107, 'Midtown-Midtown South' = 108, 'Midwood' = 109, 'Morningside Heights' = 110, 'Morrisania-Melrose' = 111, 'Mott Haven-Port Morris' = 112, 'Mount Hope' = 113, 'Murray Hill' = 114, 'Murray Hill-Kips Bay' = 115, 'New Brighton-Silver Lake' = 116, 'New Dorp-Midland Beach' = 117, 'New Springville-Bloomfield-Travis' = 118, 'North Corona' = 119, 'North Riverdale-Fieldston-Riverdale' = 120, 'North Side-South Side' = 121, 'Norwood' = 122, 'Oakland Gardens' = 123, 'Oakwood-Oakwood Beach' = 124, 'Ocean Hill' = 125, 'Ocean Parkway South' = 126, 'Old Astoria' = 127, 'Old Town-Dongan Hills-South Beach' = 128, 'Ozone Park' = 129, 'Park Slope-Gowanus' = 130, 'Parkchester' = 131, 'Pelham Bay-Country Club-City Island' = 132, 'Pelham Parkway' = 133, 'Pomonok-Flushing Heights-Hillcrest' = 134, 'Port Richmond' = 135, 'Prospect Heights' = 136, 'Prospect Lefferts Gardens-Wingate' = 137, 'Queens Village' = 138, 'Queensboro Hill' = 139, 'Queensbridge-Ravenswood-Long Island City' = 140, 'Rego Park' = 141, 'Richmond Hill' = 142, 'Ridgewood' = 143, 'Rikers Island' = 144, 'Rosedale' = 145, 'Rossville-Woodrow' = 146, 'Rugby-Remsen Village' = 147, 'Schuylerville-Throgs Neck-Edgewater Park' = 148, 'Seagate-Coney Island' = 149, 'Sheepshead Bay-Gerritsen Beach-Manhattan Beach' = 150, 'SoHo-TriBeCa-Civic Center-Little Italy' = 151, 'Soundview-Bruckner' = 152, 'Soundview-Castle Hill-Clason Point-Harding Park' = 153, 'South Jamaica' = 154, 'South Ozone Park' = 155, 'Springfield Gardens North' = 156, 'Springfield Gardens South-Brookville' = 157, 'Spuyten Duyvil-Kingsbridge' = 158, 'St. Albans' = 159, 'Stapleton-Rosebank' = 160, 'Starrett City' = 161, 'Steinway' = 162, 'Stuyvesant Heights' = 163, 'Stuyvesant Town-Cooper Village' = 164, 'Sunset Park East' = 165, 'Sunset Park West' = 166, 'Todt Hill-Emerson Hill-Heartland Village-Lighthouse Hill' = 167, 'Turtle Bay-East Midtown' = 168, 'University Heights-Morris Heights' = 169, 'Upper East Side-Carnegie Hill' = 170, 'Upper West Side' = 171, 'Van Cortlandt Village' = 172, 'Van Nest-Morris Park-Westchester Square' = 173, 'Washington Heights North' = 174, 'Washington Heights South' = 175, 'West Brighton' = 176, 'West Concourse' = 177, 'West Farms-Bronx River' = 178, 'West New Brighton-New Brighton-St. George' = 179, 'West Village' = 180, 'Westchester-Unionport' = 181, 'Westerleigh' = 182, 'Whitestone' = 183, 'Williamsbridge-Olinville' = 184, 'Williamsburg' = 185, 'Windsor Terrace' = 186, 'Woodhaven' = 187, 'Woodlawn-Wakefield' = 188, 'Woodside' = 189, 'Yorkville' = 190, 'park-cemetery-etc-Bronx' = 191, 'park-cemetery-etc-Brooklyn' = 192, 'park-cemetery-etc-Manhattan' = 193, 'park-cemetery-etc-Queens' = 194, 'park-cemetery-etc-Staten Island' = 195), pickup_puma UInt16, dropoff_nyct2010_gid UInt8, dropoff_ctlabel Float32, dropoff_borocode UInt8, dropoff_boroname Enum8('' = 0, 'Manhattan' = 1, 'Bronx' = 2, 'Brooklyn' = 3, 'Queens' = 4, 'Staten Island' = 5), dropoff_ct2010 FixedString(6), dropoff_boroct2010 FixedString(7), dropoff_cdeligibil Enum8(' ' = 0, 'E' = 1, 'I' = 2), dropoff_ntacode FixedString(4), dropoff_ntaname Enum16('' = 0, 'Airport' = 1, 'Allerton-Pelham Gardens' = 2, 'Annadale-Huguenot-Prince\'s Bay-Eltingville' = 3, 'Arden Heights' = 4, 'Astoria' = 5, 'Auburndale' = 6, 'Baisley Park' = 7, 'Bath Beach' = 8, 'Battery Park City-Lower Manhattan' = 9, 'Bay Ridge' = 10, 'Bayside-Bayside Hills' = 11, 'Bedford' = 12, 'Bedford Park-Fordham North' = 13, 'Bellerose' = 14, 'Belmont' = 15, 'Bensonhurst East' = 16, 'Bensonhurst West' = 17, 'Borough Park' = 18, 'Breezy Point-Belle Harbor-Rockaway Park-Broad Channel' = 19, 'Briarwood-Jamaica Hills' = 20, 'Brighton Beach' = 21, 'Bronxdale' = 22, 'Brooklyn Heights-Cobble Hill' = 23, 'Brownsville' = 24, 'Bushwick North' = 25, 'Bushwick South' = 26, 'Cambria Heights' = 27, 'Canarsie' = 28, 'Carroll Gardens-Columbia Street-Red Hook' = 29, 'Central Harlem North-Polo Grounds' = 30, 'Central Harlem South' = 31, 'Charleston-Richmond Valley-Tottenville' = 32, 'Chinatown' = 33, 'Claremont-Bathgate' = 34, 'Clinton' = 35, 'Clinton Hill' = 36, 'Co-op City' = 37, 'College Point' = 38, 'Corona' = 39, 'Crotona Park East' = 40, 'Crown Heights North' = 41, 'Crown Heights South' = 42, 'Cypress Hills-City Line' = 43, 'DUMBO-Vinegar Hill-Downtown Brooklyn-Boerum Hill' = 44, 'Douglas Manor-Douglaston-Little Neck' = 45, 'Dyker Heights' = 46, 'East Concourse-Concourse Village' = 47, 'East Elmhurst' = 48, 'East Flatbush-Farragut' = 49, 'East Flushing' = 50, 'East Harlem North' = 51, 'East Harlem South' = 52, 'East New York' = 53, 'East New York (Pennsylvania Ave)' = 54, 'East Tremont' = 55, 'East Village' = 56, 'East Williamsburg' = 57, 'Eastchester-Edenwald-Baychester' = 58, 'Elmhurst' = 59, 'Elmhurst-Maspeth' = 60, 'Erasmus' = 61, 'Far Rockaway-Bayswater' = 62, 'Flatbush' = 63, 'Flatlands' = 64, 'Flushing' = 65, 'Fordham South' = 66, 'Forest Hills' = 67, 'Fort Greene' = 68, 'Fresh Meadows-Utopia' = 69, 'Ft. Totten-Bay Terrace-Clearview' = 70, 'Georgetown-Marine Park-Bergen Beach-Mill Basin' = 71, 'Glen Oaks-Floral Park-New Hyde Park' = 72, 'Glendale' = 73, 'Gramercy' = 74, 'Grasmere-Arrochar-Ft. Wadsworth' = 75, 'Gravesend' = 76, 'Great Kills' = 77, 'Greenpoint' = 78, 'Grymes Hill-Clifton-Fox Hills' = 79, 'Hamilton Heights' = 80, 'Hammels-Arverne-Edgemere' = 81, 'Highbridge' = 82, 'Hollis' = 83, 'Homecrest' = 84, 'Hudson Yards-Chelsea-Flatiron-Union Square' = 85, 'Hunters Point-Sunnyside-West Maspeth' = 86, 'Hunts Point' = 87, 'Jackson Heights' = 88, 'Jamaica' = 89, 'Jamaica Estates-Holliswood' = 90, 'Kensington-Ocean Parkway' = 91, 'Kew Gardens' = 92, 'Kew Gardens Hills' = 93, 'Kingsbridge Heights' = 94, 'Laurelton' = 95, 'Lenox Hill-Roosevelt Island' = 96, 'Lincoln Square' = 97, 'Lindenwood-Howard Beach' = 98, 'Longwood' = 99, 'Lower East Side' = 100, 'Madison' = 101, 'Manhattanville' = 102, 'Marble Hill-Inwood' = 103, 'Mariner\'s Harbor-Arlington-Port Ivory-Graniteville' = 104, 'Maspeth' = 105, 'Melrose South-Mott Haven North' = 106, 'Middle Village' = 107, 'Midtown-Midtown South' = 108, 'Midwood' = 109, 'Morningside Heights' = 110, 'Morrisania-Melrose' = 111, 'Mott Haven-Port Morris' = 112, 'Mount Hope' = 113, 'Murray Hill' = 114, 'Murray Hill-Kips Bay' = 115, 'New Brighton-Silver Lake' = 116, 'New Dorp-Midland Beach' = 117, 'New Springville-Bloomfield-Travis' = 118, 'North Corona' = 119, 'North Riverdale-Fieldston-Riverdale' = 120, 'North Side-South Side' = 121, 'Norwood' = 122, 'Oakland Gardens' = 123, 'Oakwood-Oakwood Beach' = 124, 'Ocean Hill' = 125, 'Ocean Parkway South' = 126, 'Old Astoria' = 127, 'Old Town-Dongan Hills-South Beach' = 128, 'Ozone Park' = 129, 'Park Slope-Gowanus' = 130, 'Parkchester' = 131, 'Pelham Bay-Country Club-City Island' = 132, 'Pelham Parkway' = 133, 'Pomonok-Flushing Heights-Hillcrest' = 134, 'Port Richmond' = 135, 'Prospect Heights' = 136, 'Prospect Lefferts Gardens-Wingate' = 137, 'Queens Village' = 138, 'Queensboro Hill' = 139, 'Queensbridge-Ravenswood-Long Island City' = 140, 'Rego Park' = 141, 'Richmond Hill' = 142, 'Ridgewood' = 143, 'Rikers Island' = 144, 'Rosedale' = 145, 'Rossville-Woodrow' = 146, 'Rugby-Remsen Village' = 147, 'Schuylerville-Throgs Neck-Edgewater Park' = 148, 'Seagate-Coney Island' = 149, 'Sheepshead Bay-Gerritsen Beach-Manhattan Beach' = 150, 'SoHo-TriBeCa-Civic Center-Little Italy' = 151, 'Soundview-Bruckner' = 152, 'Soundview-Castle Hill-Clason Point-Harding Park' = 153, 'South Jamaica' = 154, 'South Ozone Park' = 155, 'Springfield Gardens North' = 156, 'Springfield Gardens South-Brookville' = 157, 'Spuyten Duyvil-Kingsbridge' = 158, 'St. Albans' = 159, 'Stapleton-Rosebank' = 160, 'Starrett City' = 161, 'Steinway' = 162, 'Stuyvesant Heights' = 163, 'Stuyvesant Town-Cooper Village' = 164, 'Sunset Park East' = 165, 'Sunset Park West' = 166, 'Todt Hill-Emerson Hill-Heartland Village-Lighthouse Hill' = 167, 'Turtle Bay-East Midtown' = 168, 'University Heights-Morris Heights' = 169, 'Upper East Side-Carnegie Hill' = 170, 'Upper West Side' = 171, 'Van Cortlandt Village' = 172, 'Van Nest-Morris Park-Westchester Square' = 173, 'Washington Heights North' = 174, 'Washington Heights South' = 175, 'West Brighton' = 176, 'West Concourse' = 177, 'West Farms-Bronx River' = 178, 'West New Brighton-New Brighton-St. George' = 179, 'West Village' = 180, 'Westchester-Unionport' = 181, 'Westerleigh' = 182, 'Whitestone' = 183, 'Williamsbridge-Olinville' = 184, 'Williamsburg' = 185, 'Windsor Terrace' = 186, 'Woodhaven' = 187, 'Woodlawn-Wakefield' = 188, 'Woodside' = 189, 'Yorkville' = 190, 'park-cemetery-etc-Bronx' = 191, 'park-cemetery-etc-Brooklyn' = 192, 'park-cemetery-etc-Manhattan' = 193, 'park-cemetery-etc-Queens' = 194, 'park-cemetery-etc-Staten Island' = 195), dropoff_puma UInt16) ENGINE = MergeTree(pickup_date, pickup_datetime, 8192); ``` على الخادم المصدر: ```sql theme={null} CREATE TABLE trips_mergetree_x3 AS trips_mergetree_third ENGINE = Distributed(perftest, default, trips_mergetree_third, rand()); ``` يعيد الاستعلام التالي توزيع البيانات: ```sql theme={null} INSERT INTO trips_mergetree_x3 SELECT * FROM trips_mergetree; ``` يستغرق ذلك 2454 ثانية. على ثلاثة خوادم: Q1: 0.212 ثانية. Q2: 0.438 ثانية. Q3: 0.733 ثانية. Q4: 1.241 ثانية. لا مفاجآت هنا، فأداء الاستعلامات يتوسّع خطيًا. لدينا أيضًا نتائج من عنقود مكوَّن من 140 خادمًا: Q1: 0.028 ثانية. Q2: 0.043 ثانية. Q3: 0.051 ثانية. Q4: 0.072 ثانية. في هذه الحالة، يتحدد زمن معالجة الاستعلام في المقام الأول بزمن الاستجابة في الشبكة. شغّلنا الاستعلامات باستخدام عميل موجود في مركز بيانات غير الذي يستضيف العنقود، مما أضاف نحو 20 ms إلى زمن الاستجابة. ## الملخص | الخوادم | Q1 | Q2 | Q3 | Q4 | | - | - | - | - | - | | 1, E5-2650v2 | 0.490 | 1.224 | 2.104 | 3.593 | | 3, E5-2650v2 | 0.212 | 0.438 | 0.733 | 1.241 | | 1, AWS c5n.4xlarge | 0.249 | 1.279 | 1.738 | 3.527 | | 1, AWS c5n.9xlarge | 0.130 | 0.584 | 0.777 | 1.811 | | 3, AWS c5n.9xlarge | 0.057 | 0.231 | 0.285 | 0.641 | | 140, E5-2650v2 | 0.028 | 0.043 | 0.051 | 0.072 |