تصميم مستودع البيانات: مخطط النجوم لتحليلات تخطيط موارد المؤسسات والتجارة الإلكترونية

تم تحسين قاعدة بيانات ERP الخاصة بك للمعاملات --- إدخال الطلبات، وتحديث المخزون، ومعالجة المدفوعات. تم تحسين منصة التجارة الإلكترونية الخاصة بك لعرض صفحات المنتج ومعالجة عمليات الدفع. لم يتم تحسين أي منهما للإجابة على الأسئلة التي تحدد قرارات العمل: ما هي فئات المنتجات الأكثر ربحية بعد العوائد؟ ما هي شرائح العملاء التي لها قيمة متزايدة مدى الحياة؟ أين تكمن الاختناقات في سلسلة التوريد لدينا؟

هذه الفجوة هي ما يملأه مستودع البيانات. والمخطط النجمي هو نمط التصميم الذي يجعل الاستعلامات التحليلية سريعة وبديهية وقابلة للصيانة.

الوجبات الرئيسية

• يفصل المخطط النجمي مقاييس الأعمال (الحقائق) عن السياق الوصفي (الأبعاد)، مما يجعل الاستعلامات بديهية وسريعة
• تحتاج تحليلات تخطيط موارد المؤسسات (ERP) والتجارة الإلكترونية عادةً إلى أربعة إلى ستة جداول حقائق وثمانية إلى اثني عشر جدول أبعاد لتغطية أسئلة العمل الأساسية
• يجب أن تستخدم خطوط أنابيب ETL التحميل المتزايد بأبعاد تتغير ببطء للتعامل مع التحليل التاريخي دون إعادة معالجة كافة البيانات
• يعمل المخطط النجمي المصمم جيدًا على تقليل تعقيد الاستعلام بنسبة 60 إلى 80 بالمائة مقارنة بالاستعلام عن قواعد البيانات التشغيلية المقيسة مباشرةً

---

لماذا لا يتم الاستعلام عن نظام تخطيط موارد المؤسسات (ERP) مباشرةً؟

قبل الاستثمار في مستودع بيانات منفصل، تحاول العديد من الشركات إجراء استعلامات تحليلية على قاعدة بياناتها التشغيلية. وهذا فشل لثلاثة أسباب.

الأداء. تقوم الاستعلامات التحليلية بمسح ملايين الصفوف وحساب التجميعات وربط العديد من الجداول. يؤدي تشغيلها على قاعدة بيانات الإنتاج إلى إبطاء نظام تخطيط موارد المؤسسات (ERP) لكل مستخدم. يمكن أن يؤدي التقرير الذي يقوم بمسح بيانات الطلب لمدة ستة أشهر إلى قفل الجداول وتقليل أداء الدفع في متجر Shopify الخاص بك.

التعقيد. تتم تسوية قواعد البيانات التشغيلية --- وهي مصممة لتقليل تكرار البيانات. قد يتطلب سؤال بسيط مثل "إجمالي الإيرادات حسب فئة المنتج حسب الشهر" الانضمام إلى ثمانية جداول في قاعدة بيانات PostgreSQL الخاصة بـ Odoo. في مخطط النجمة، يقوم نفس الاستعلام بربط جدولين.

التاريخ. تقوم أنظمة التشغيل بالكتابة فوق البيانات. عندما يقوم العميل بتغيير عنوانه، يختفي العنوان القديم. عند إعادة تصنيف منتج ما، تتغير التقارير التاريخية بأثر رجعي. يحافظ مستودع البيانات على التاريخ من خلال الأبعاد المتغيرة ببطء.

متعددة المصادر. عادةً ما تقوم شركات السوق المتوسطة بتشغيل ثلاثة إلى سبعة أنظمة تحتوي على بيانات العمل. يقوم مستودع البيانات بدمجها جميعًا. يغطي دليلنا إلى خطوط أنابيب ETL لبيانات ERP عملية الاستخراج والتحميل بالتفصيل.

---

أساسيات مخطط النجوم

يقوم المخطط النجمي بتنظيم البيانات في نوعين من الجداول: جداول الحقائق وجداول الأبعاد. توجد جداول الحقائق في المركز (جسم النجم)، وتحيط بها جداول الأبعاد (نقاط النجم).

جداول الحقائق

تقوم جداول الحقائق بتخزين أحداث الأعمال القابلة للقياس --- الأشياء التي حدثت. يمثل كل صف حدثًا واحدًا عند أقل مستوى من الحبوب ذات معنى.

الخصائص:

• تحتوي على مقاييس رقمية (الكمية، المبلغ، المدة، العدد)
• تحتوي على مفاتيح خارجية لجداول الأبعاد
• عادة ما تكون أكبر الطاولات في المستودع
• النمو بشكل مستمر مع حدوث أحداث جديدة
• ينبغي أن يكون في أجود الحبوب التي تدعم مسائل العمل

جداول الأبعاد

تقوم جداول الأبعاد بتخزين السياق الوصفي --- من وماذا وأين ومتى وكيفية أحداث الأعمال.

الخصائص:

• تحتوي على السمات النصية والتسلسلات الهرمية
• صغيرة نسبيًا (آلاف إلى ملايين الصفوف، وليس المليارات)
• التغيير ببطء مع مرور الوقت
• غير طبيعية من أجل بساطة الاستعلام
• توفير التسميات والمرشحات والمجموعات للتقارير

###شكل النجمة

                    Dim: Customer
                         |
    Dim: Product ---  Fact: Sales  --- Dim: Time
                         |
                    Dim: Location

يؤدي استعلام مثل "إجمالي الإيرادات حسب فئة المنتج حسب الربع حسب المنطقة" إلى ربط جدول حقائق المبيعات بجداول ثلاثية الأبعاد. لا توجد استعلامات فرعية، ولا توجد صلات متداخلة معقدة --- فقط الصلات النجمية المباشرة.

---

تصميم جداول الحقائق لتخطيط موارد المؤسسات (ERP) والتجارة الإلكترونية

تحتاج شركة نموذجية متوسطة الحجم تقوم بتشغيل Odoo ERP وShopify للتجارة الإلكترونية إلى أربعة إلى ستة جداول حقائق لتغطية حالات الاستخدام التحليلية الأساسية.

الحقيقة: المبيعات

جدول حقائق المبيعات هو حجر الزاوية. يمثل كل صف بندًا واحدًا في أمر المبيعات.

الحبوب: صف واحد لكل بند طلب يوميًا.

الحقيقة: المخزون

يتتبع مستويات المخزون كلقطات دورية بدلاً من الأحداث.

الحبوب: صف واحد لكل منتج لكل مستودع يوميًا.

الحقيقة: الإنتاج

بالنسبة لشركات التصنيع، تقوم حقيقة الإنتاج بتتبع أوامر العمل.

الحبوب: صف واحد لكل أمر عمل لكل منتج يوميًا.

جداول حقائق إضافية

• الحقيقة: المشتريات --- الإنفاق على المشتريات حسب البائع والمنتج والوقت.
• الحقيقة: تذاكر الدعم --- حجم التذاكر ووقت الاستجابة ووقت الحل حسب الوكيل والعميل والفئة.
• حقيقة: حركة مرور الويب --- مشاهدات الصفحة، والجلسات، والتحويلات حسب الصفحة، والمصدر، والحملة. مفيد لـ تحليل إسناد التسويق.

---

تصميم جداول الأبعاد

توفر جداول الأبعاد السياق الذي يجعل أرقام جدول الحقائق ذات معنى. المبدأ الأساسي هو إلغاء التسوية --- تخزين البيانات الزائدة عن الحاجة لتبسيط الاستعلامات.

خافت: الوقت

البعد الزمني موجود في كل مخطط نجمي. قم بحساب سمات التقويم مسبقًا لتجنب وظائف التاريخ المعقدة في الاستعلامات.

###ديم: العميل

قم بإلغاء تطبيع سمات العملاء من أنظمة إدارة علاقات العملاء والمحاسبة والتجارة الإلكترونية في بُعد واحد.

العمودان rfm_segment وlifetime_value_tier عبارة عن حقول محسوبة مشتقة من تحليل RFM، ويتم تحديثها دوريًا بواسطة خط أنابيب ETL.

خافت: المنتج

---

تغيير الأبعاد ببطء

عندما ينتقل العميل من نيويورك إلى لندن، ما الذي يجب أن يفعله مستودع البيانات؟ الجواب يعتمد على سؤال العمل.

النوع 1: الكتابة الفوقية

استبدل القيمة القديمة بالقيمة الجديدة. تصبح مدينة العميل هي لندن، وجميع الطلبات التاريخية تظهر الآن لندن. استخدم هذا عندما لا تكون الدقة التاريخية للسمة مهمة.

النوع 2: إضافة صف جديد

أنشئ صفًا جديدًا للعميل يتضمن المدينة الجديدة وتاريخ السريان وتاريخ انتهاء الصلاحية. ولا تزال الطلبات التاريخية تشير إلى الصف القديم (نيويورك)، وتشير الطلبات الجديدة إلى الصف الجديد (لندن). هذا هو الأسلوب الأكثر شيوعًا للسمات التي تؤثر على التحليل --- شريحة العملاء، قسم الموظفين، فئة المنتج.

| customer_key | معرف_الزبون | مدينة | تاريخ الفاعلية | expiration_date | غير الحالي | |-------------|------------|---------------|----------------|-----------| | 1001 | CUST-042 | نيويورك | 2024-01-15 | 2026-02-28 | خطأ | | 1002 | CUST-042 | لندن | 2026-03-01 | 9999-12-31 | صحيح |

النوع 3: إضافة عمود جديد

قم بتخزين القيم القديمة والجديدة في أعمدة منفصلة. يكون مفيدًا عندما تحتاج إلى المقارنة قبل وبعد ولكن لا تحتاج إلى سجل كامل. أقل شيوعا في الممارسة العملية.

بالنسبة لشركات السوق المتوسطة، استخدم النوع 2 لشريحة العملاء وقسم الموظفين وفئة المنتج والسمات الجغرافية. استخدم النوع 1 لكل شيء آخر لإبقاء المستودع بسيطًا.

---

أنماط تصميم ETL

تقوم عملية ETL (الاستخراج والتحويل والتحميل) بنقل البيانات من أنظمة المصدر إلى المستودع. تتضمن أنماط التصميم التي تعمل بشكل جيد مع بيانات ERP وبيانات التجارة الإلكترونية ما يلي.

التحميل المتزايد

بدلاً من إعادة تحميل جميع البيانات في كل عملية تشغيل، يمكنك تتبع آخر طابع زمني تم تحميله بنجاح ومعالجة السجلات التي تم تعديلها منذ ذلك الحين فقط. يجعل حقل write_date الخاص بـ Odoo والمعلمة updated_at الخاصة بـ Shopify هذا الأمر واضحًا.

1. Query source: SELECT * FROM sale_order_line WHERE write_date > last_load_timestamp
2. Transform: Map source fields to warehouse columns, look up dimension keys
3. Load: INSERT new rows, UPDATE changed rows (upsert)
4. Update: Set last_load_timestamp to current run start time

إدارة المفاتيح البديلة

تستخدم جداول الأبعاد مفاتيح بديلة (الأعداد الصحيحة المتزايدة تلقائيًا) بدلاً من المفاتيح الطبيعية (معرفات Odoo، ومعرفات Shopify). يؤدي ذلك إلى فصل المستودع عن تنسيقات مفاتيح النظام المصدر ومعالجة الدمج متعدد المصادر حيث تحتوي الأنظمة المختلفة على أنظمة معرفات متضاربة.

أبعاد الوصول المتأخر

في بعض الأحيان يصل سجل الحقائق قبل سجل البعد المقابل --- يشير الطلب إلى عميل جديد لم تتم مزامنته بعد. تعامل مع هذا باستخدام صف أبعاد العنصر النائب الذي يتم تحديثه عند وصول سجل البعد الكامل.

تحديث الجدولة

للتعرف على متطلبات الوقت الفعلي، راجع دليلنا إلى تحليلات البث.

---

تحسين أداء الاستعلام

يعمل المخطط النجمي المصمم جيدًا بشكل جيد بالفعل بسبب أنماط الربط البسيطة الخاصة به. تتضمن التحسينات الإضافية ما يلي.

الفهارس. قم بإنشاء فهارس على جميع المفاتيح الخارجية للأبعاد في جداول الواقع وعلى سمات الأبعاد التي تمت تصفيتها بشكل شائع (النطاقات الزمنية، وشرائح العملاء، وفئات المنتجات).

طرق العرض المادية. الاستعلامات الشائعة المجمعة مسبقًا: الإيرادات اليومية حسب فئة المنتج، ومستويات المخزون الأسبوعية حسب المستودع، واكتساب العملاء شهريًا حسب القناة. قم بتحديث طرق العرض المتحققة بعد كل تحميل ETL.

التقسيم. تقسيم جداول الحقائق الكبيرة حسب التاريخ (شهريًا أو ربع سنوي). تقوم الاستعلامات التي يتم تصفيتها حسب النطاق الزمني بفحص الأقسام ذات الصلة فقط.

إحصائيات الأعمدة. حافظ على تحديث إحصائيات PostgreSQL باستخدام ANALYZE بعد التحميل المجمع حتى يتخذ مخطط الاستعلام القرارات المثلى.

تدعم هذه التحسينات تجربة self-service BI حيث يقوم مستخدمو الأعمال بتشغيل استعلامات مخصصة دون أي مخاوف تتعلق بالأداء.

---

الأسئلة المتداولة

ما الحجم الذي يجب أن تكون عليه الشركة لتبرير مستودع البيانات؟

لا يوجد حد أدنى للحجم، ولكن الاستثمار يصبح جديرًا بالاهتمام عندما يكون لديك مصادر بيانات متعددة تحتاج إلى دمجها للتحليل، أو عندما تؤدي استعلامات قاعدة البيانات التشغيلية إلى إبطاء أنظمة الإنتاج، أو عندما تقضي أكثر من 10 ساعات أسبوعيًا في جمع البيانات يدويًا وإنشاء التقارير. تستفيد معظم الشركات التي تضم 30 موظفًا أو أكثر ولديها نظامان على الأقل (تخطيط موارد المؤسسات بالإضافة إلى التجارة الإلكترونية) من المستودع.

هل يجب علينا استخدام مستودع بيانات سحابي مثل Snowflake أو BigQuery؟

بالنسبة لشركات السوق المتوسطة، يتعامل PostgreSQL مع معظم أعباء العمل التحليلية بشكل جيد وبتكاليف أقل بكثير. تصبح المستودعات السحابية مثل Snowflake جذابة عندما تتجاوز بياناتك 1 تيرابايت، أو عندما تحتاج إلى فصل الحوسبة عن التخزين لتحسين التكلفة، أو عندما يكون لديك متطلبات معقدة لمشاركة البيانات عبر المؤسسات. ابدأ بـ PostgreSQL وقم بالترحيل عندما تتفوق عليه.

كم من الوقت يستغرق بناء مستودع البيانات؟

الحد الأدنى من المستودعات القابلة للتطبيق مع جدول حقائق واحد (المبيعات)، وجداول الأبعاد الأربعة، وخط أنابيب ETL الذي يربط Odoo وShopify يستغرق من أربعة إلى ثمانية أسابيع لفريق من ذوي الخبرة. وتستغرق إضافة جداول الحقائق وتغيير الأبعاد ببطء ومراقبة جودة البيانات من أربعة إلى ثمانية أسابيع أخرى لكل جدول حقائق. خطط لمدة ثلاثة إلى ستة أشهر لإنشاء مستودع شامل يغطي جميع مجالات الأعمال الرئيسية.

---

ما هو التالي

يعد المخطط النجمي المصمم جيدًا هو الأساس لكل إمكانية تحليلية --- بدءًا من لوحات معلومات الخدمة الذاتية إلى النماذج التنبؤية إلى التحليلات المضمنة. إنها جزء من [إستراتيجية ذكاء الأعمال] (/blog/bi-strategy-mid-market-data-decisions) الأوسع التي تعمل على تغيير الطريقة التي تتخذ بها شركتك القرارات.

تقوم ECOSIRE ببناء مستودعات البيانات وخطوط التحليلات للشركات التي تقوم بتشغيل Odoo وShopify وGoHighLevel. يقوم فريق استشارات Odoo بتصميم مخططات المستودعات المصممة خصيصًا لنموذج أعمالك، كما يقوم فريق OpenClaw AI Services بطبقة التحليلات التنبؤية في الأعلى.

اتصل بنا لمناقشة بنية مستودع البيانات لديك.

---

تم النشر بواسطة ECOSIRE --- مساعدة الشركات على التوسع باستخدام الحلول المدعومة بالذكاء الاصطناعي عبر Odoo ERP، وShopify eCommerce، وOpenClaw AI.