اكتشاف الشذوذ في Power BI: العثور على ما تغير ولماذا

يعرف كل محلل مدى الإحباط: فأنت تقوم بمراجعة لوحة المعلومات ويبدو أن هناك شيئًا ما خاطئًا، ولكن مع وجود مئات المقاييس عبر عشرات الفترات الزمنية، فإن تحديد الشذوذ - ثم شرح سبب حدوثه - يمكن أن يستغرق ساعات من التحقيق اليدوي.

تعمل ميزة الكشف عن الحالات الشاذة في Power BI على عكس هذا العبء. بدلاً من انتظار المحللين لاكتشاف الحالات الشاذة، يحدد الذكاء الاصطناعي تلقائيًا نقاط البيانات التي تنحرف بشكل كبير عن الأنماط المتوقعة ويقدم تفسيرات أولية للأبعاد التي ساهمت بشكل أكبر في الانحراف. وتتحول مهمة المحلل من "العثور على المشكلة" إلى "التحقق من صحة نتائج الذكاء الاصطناعي وتحديد الاستجابة".

يغطي هذا الدليل كيفية عمل اكتشاف الحالات الشاذة في Power BI، وكيفية تكوينه للحصول على الحد الأقصى لنسبة الإشارة إلى الضوضاء، وكيفية تفسير التفسيرات التي يقدمها، وكيفية دمجها مع السرديات الذكية للإبلاغ التلقائي عن الحالات الشاذة.

الوجبات الرئيسية

• ينطبق اكتشاف الحالات الشاذة على المخططات الخطية والمخططات المساحية ذات محور التاريخ، تلقائيًا أو عند الطلب
• تستخدم الخوارزمية التحليل الطيفي المتبقي مع CNN للكشف عن الحالات الشاذة السياقية
• تتحكم الحساسية في الحد الأدنى لما يعتبر أمرًا شاذًا - حيث تشير الحساسية الأعلى إلى المزيد من الحالات الشاذة المحتملة
• تحلل التفسيرات الأبعاد المساهمة لاقتراح الشريحة التي أدت إلى الشذوذ
• يمكن تكوين الروايات الذكية لوصف الحالات الشاذة المكتشفة في نص اللغة الطبيعية
• يتوفر اكتشاف الحالات الشاذة في جميع مستويات ترخيص Power BI (لا يلزم وجود Premium)
• يمكن أن يمتد اكتشاف الحالات الشاذة المخصصة باستخدام Azure Cognitive Services أو Python إلى ما هو أبعد من القدرات المضمنة
• أفضل النتائج تأتي من سلاسل زمنية مستقرة ومتسقة موسميا؛ تنتج السلسلة المتطايرة المزيد من الإيجابيات الكاذبة

---

ما يفعله اكتشاف الحالات الشاذة

يقوم اكتشاف الحالات الشاذة في Power BI بتحليل بيانات السلاسل الزمنية في مخطط خطي أو مساحي وتحديد نقاط البيانات التي تقع خارج نطاق القيمة المتوقعة في ضوء النمط التاريخي. ويستخدم مزيج من:

خوارزمية الطيف المتبقي (SR): تستخرج الإشارة "المتبقية" بعد إزالة الاتجاه المتوقع ومكونات الموسمية من السلسلة الزمنية. تعتبر نقاط البيانات ذات المخلفات الكبيرة (الانحراف الكبير عن المتوقع) مرشحة للشذوذ.

الشبكة العصبية التلافيفية (CNN): تضع سياقًا للمخلفات ضمن النافذة الزمنية المحيطة لتمييز الحالات الشاذة الحقيقية عن التقلبات المتوقعة. قد تكون نقطة البيانات التي تبدو متطرفة في عزلة طبيعية بالنظر إلى القيم المجاورة.

والنتيجة هي درجة الشذوذ لكل نقطة بيانات. يتم وضع علامة على النقاط فوق عتبة الحساسية على أنها حالات شاذة ويتم عرضها على الرسم البياني.

ما يمكن اكتشافه من خلال اكتشاف الحالات الشاذة:

• الارتفاعات أو الانخفاضات المفاجئة في المقياس الذي ينحرف عن الاتجاه التاريخي
• انعكاسات غير متوقعة للاتجاه (ينخفض ​​المقياس الذي كان ينمو فجأة)
• الأحداث المتوقعة المفقودة (المقياس الذي يجب أن يرتفع كل يوم اثنين لا يرتفع هذا الاثنين)
• الانجراف التدريجي الذي يتجاوز فترة الثقة

ما لا يمكن اكتشافه من خلال اكتشاف الحالات الشاذة:

• حالات شاذة في البيانات غير المتعلقة بالسلاسل الزمنية (المخططات الشريطية حسب الفئة، والمؤامرات المبعثرة)
• مشاكل خط الأساس حيث تكون جميع البيانات التاريخية خاطئة
• الشذوذات في البيانات الفئوية أو النصية
• التغييرات التي تقع ضمن نطاق التقلب التاريخي (التغير الطبيعي لا يؤدي إلى الكشف)

---

تمكين الكشف عن الشذوذ

ينطبق اكتشاف الحالات الشاذة على المخططات الخطية والمخططات المساحية ذات محور التاريخ/الوقت. يتم تمكينه من خلال جزء التحليلات.

الخطوة 1: قم بإنشاء مخطط خطي مرئي في Power BI Desktop أو خدمة Power BI باستخدام:

• المحور السيني: عمود التاريخ أو التاريخ
• المحور ص (أو القيم): مقياس واحد أو أكثر

الخطوة 2: حدد الجزء المرئي → جزء التحليلات (رمز الصاعقة) → قسم الحالات الشاذة → إضافة.

الخطوة 3: تكوين إعدادات الكشف:

الخطوة 4: تكوين ميزات الشرح:

ضمن إعدادات الشذوذ، قم بتمكين "الشرح بواسطة" لإضافة الأبعاد التي يجب على Power BI تحليلها عند شرح الشذوذ. حدد الأبعاد ذات الصلة من النموذج (المنطقة، فئة المنتج، شريحة العملاء، قناة المبيعات، وما إلى ذلك). هذه هي الأبعاد التي سيتم تحليلها عندما ينقر المستخدم على حالة شاذة للحصول على تفسير.

---

فهم تفسيرات الشذوذ

عندما ينقر المستخدم على علامة الشذوذ في المخطط الخطي، يتم فتح لوحة جانبية تعرض شرحًا - تحليل للأبعاد التي ساهمت بشكل أكبر في الشذوذ.

الشرح يوضح:

ملخص الانحراف: القيمة المتوقعة لتلك النقطة والقيمة الفعلية وحجم الانحراف.

العوامل المساهمة: قائمة مرتبة بمجموعات قيم الأبعاد التي تفسر الشذوذ. على سبيل المثال، إذا كانت الإيرادات بها حالة شاذة في تاريخ محدد، فقد يظهر التفسير:

• "ساهمت المنطقة الغربية بنسبة 68% في هذا الوضع الشاذ" - مما يعني أن إيرادات المنطقة الغربية كانت منخفضة بشكل غير متناسب في ذلك اليوم
• "ساهمت فئة الإلكترونيات بنسبة 22% في حدوث الشذوذ" - كان أداء الإلكترونيات ضعيفًا على وجه التحديد
• "ساهمت شريحة العملاء من المؤسسات بنسبة 15% في هذا الوضع الشاذ" - كانت مبيعات المؤسسات منخفضة بشكل غير عادي

نقاط القوة: مدى تفسير كل عامل للحالة الشاذة (يتم التعبير عنها كنسبة مئوية من إجمالي الشذوذ). العوامل ذات درجات القوة العالية هي الأسباب الجذرية الأكثر احتمالا.

المرئيات الداعمة: مخططات صغيرة توضح سلوك البعد المساهم — مخطط شريطي صغير يوضح أداء كل منطقة على حدة في ذلك اليوم، مما يجعل تراجع المنطقة الغربية واضحًا بشكل مرئي.

---

ضبط الحساسية

يتحكم شريط تمرير الحساسية (0–100) في مدى شدة إشارة Power BI إلى الحالات الشاذة. يعد ضبط هذا بشكل صحيح أمرًا بالغ الأهمية للحصول على نسبة إشارة إلى ضوضاء مفيدة.

حساسية عالية جدًا (90-100): يتم وضع علامة على كل قمة أو قاع محلي تقريبًا على أنه حالة شاذة. المحلل غارق في النتائج الإيجابية الكاذبة ويتوقف عن الثقة في الاكتشاف. تأثير "الصبي الذي بكى الذئب" يجعل الميزة عديمة الفائدة.

حساسية منخفضة جدًا (10–30): يتم وضع علامة على الأحداث الأكثر تطرفًا فقط. التدهور التدريجي الذي ينبغي اكتشافه مبكرًا ينزلق من خلاله. يتم تجاهل الحالات الشاذة البسيطة التي تمثل إشارات إنذار مبكر.

الحساسية الصحيحة تعتمد على خصائص السلسلة الزمنية:

• سلسلة منخفضة التقلب (درجة رضا العملاء التي تتحرك عادة 0.2 نقطة في الأسبوع): الحساسية العالية (70-85) مناسبة - حتى الانحرافات الصغيرة جديرة بالملاحظة
• سلسلة التقلبات العالية (جلسات الموقع اليومية): حساسية منخفضة (40-60) تتجنب الإشارة إلى التباين اليومي الطبيعي
• سلسلة موسمية قوية (مبيعات التجزئة بأنماط أسبوعية وأنماط العطلات): حساسية متوسطة مع نوافذ تاريخية أطول لتدريب النموذج الموسمي

أسلوب الضبط العملي: اضبط الحساسية على 70 (الافتراضي) وقم بتشغيل الكشف على أكثر من 12 شهرًا من البيانات التاريخية. قم بمراجعة كل حالة شاذة تم الإبلاغ عنها وصنفها على أنها "صحيحة" (شيء تغير بالفعل) أو "خاطئة" (تباين عادي). إذا كانت أكثر من 30% نتائج إيجابية كاذبة، تكون الحساسية أقل. إذا كنت تعرف أحداثًا كان ينبغي وضع علامة عليها ولكن لم يتم ذلك، فارفعها.

---

الكشف عن الحالات الشاذة لمراقبة الأعمال

التطبيق الأكثر تأثيرًا لاكتشاف الحالات الشاذة في Power BI هو مراقبة الأعمال التشغيلية - حيث تتم مراجعة لوحات المعلومات بشكل مستمر وتحتاج الحالات الشاذة إلى تفعيل الإجراء.

مراقبة المبيعات: مراقبة الإيرادات اليومية مقابل النمط الموسمي. هناك حالة شاذة حدثت في يوم الثلاثاء من شهر مارس دون وجود عروض ترويجية أو عطلات مجدولة، مما أدى إلى إجراء تحقيق. يوضح التفسير أن إيرادات القنوات في أمريكا الشمالية كانت أقل من المتوقع بنسبة 40% - وتبين أن السبب هو انقطاع موقع الويب مما أثر على عملية الدفع لمدة 6 ساعات.

المراقبة المالية: تتبع النفقات الشهرية مقابل الميزانية والعام السابق. يشير الشذوذ في خط المرافق إلى ارتفاع بنسبة 35٪. يتتبع التفسير الأمر إلى منشأة معينة - فشل نظام التدفئة والتهوية وتكييف الهواء (HVAC) الذي يتطلب إصلاحًا طارئًا.

مراقبة خدمة العملاء: يتم تتبع حجم التذاكر اليومي مقابل الحمل المتوقع. تؤدي الزيادة الشاذة إلى إجراء تحقيق - يوضح التفسير أنها تتركز في فئة دعم المنتج وإصدار منتج معين، مما يشير إلى وجود خطأ في البرنامج.

مراقبة سلسلة التوريد: يتم وضع علامة على معدلات التسليم اليومية في الوقت المحدد عندما تنخفض إلى ما دون الأنماط التاريخية. ويشير الشرح إلى ناقلة محددة ومنطقة جغرافية محددة، مما يمكن الفريق اللوجستي من الاتصال الفوري بالناقلة.

في كل حالة، يبدأ تحقيق المحلل بتفسير الكشف عن الحالة الشاذة وليس من الصفر - مما يقلل متوسط ​​الوقت اللازم للتشخيص بشكل كبير.

---

التكامل مع الروايات الذكية

يمكن تكوين الروايات الذكية لوصف الحالات الشاذة المكتشفة في المخططات الخطية، وتحويل علامات الشذوذ المرئية إلى تفسيرات نصية بلغة عادية مناسبة للتقارير التنفيذية أو الملخصات الآلية.

إضافة روايات ذكية لوصف الحالات الشاذة:

1. أضف مرئيات ذكية إلى صفحة التقرير نفسها مثل المخطط الخطي الممكّن للشذوذ
2. تقوم المرئيات الذكية للسرد تلقائيًا بإنشاء نص بناءً على ما تلاحظه في العناصر المرئية للتقرير
3. قم بتخصيص قالب السرد ليشمل لغة خاصة بالشذوذ

قد تؤدي الروايات الذكية + الكشف عن الحالات الشاذة في تقرير تنفيذي شهري إلى ما يلي:

"كانت الإيرادات الشهرية البالغة 4.2 مليون دولار أقل بمقدار 380 ألف دولار من النطاق المتوقع للنموذج الذي يتراوح بين 4.4 مليون دولار و4.7 مليون دولار، مما يمثل شذوذًا ذا دلالة إحصائية. وشكلت قناة التجارة الإلكترونية في أمريكا الشمالية 71% من العجز، مع انخفاض الأداء من 1.8 مليون دولار في الأشهر السابقة إلى 1.1 مليون دولار. بدأ هذا الاختلاف في الرابع عشر واستمر حتى نهاية الشهر، بالتزامن مع ترحيل البنية التحتية لموقع الويب."

يتم إنشاء هذا السرد تلقائيًا من البيانات - دون الحاجة إلى الكتابة اليدوية. ويتم تحديثه في كل مرة يتم فيها تحديث التقرير، مما يجعله مناسبًا لإعداد التقارير الشهرية الآلية.

---

الكشف المتقدم عن الحالات الشاذة باستخدام Azure وPython

يغطي اكتشاف الحالات الشاذة المضمنة في Power BI معظم حالات الاستخدام، ولكن قد تتطلب السيناريوهات المتقدمة ما يلي:

واجهة برمجة تطبيقات Azure Cognitive Services Anomaly Detector: تدعم واجهة برمجة التطبيقات المخصصة للكشف عن الحالات الشاذة من Microsoft اكتشاف الحالات الشاذة متعددة المتغيرات (العثور على الحالات الشاذة التي تظهر في مجموعات من المقاييس في وقت واحد)، ومعالجة موسمية أكثر تعقيدًا، واكتشاف الحالات الشاذة المتدفقة. يمكن لـ Power BI عرض النتائج من Anomaly Detector API عن طريق استيراد درجات الشذوذ والتفسيرات من استجابة API.

الكشف عن الحالات الشاذة المستندة إلى لغة Python: يتيح الدعم المرئي لـ Python في Power BI إمكانية تشغيل خوارزميات مخصصة للكشف عن الحالات الشاذة ضمن تقرير Power BI. يمكن تنفيذ مكتبات مثل pyod، أو غابة عزل scikit-learn، أو prophet (مكتبة تنبؤات السلاسل الزمنية في Facebook التي تتضمن حدود الشذوذ) كنصوص Python النصية التي تولد درجات الشذوذ المعروضة كمرئيات Power BI.

مثال بايثون مخصص باستخدام النبي:

from prophet import Prophet
import pandas as pd

# dataset is the Power BI dataset passed to the Python visual
df = dataset.rename(columns={'Date': 'ds', 'Revenue': 'y'})

m = Prophet(interval_width=0.95, daily_seasonality=True)
m.fit(df)

future = m.make_future_dataframe(periods=0)
forecast = m.predict(future)

result = df.merge(forecast[['ds', 'yhat', 'yhat_lower', 'yhat_upper']], on='ds')
result['is_anomaly'] = (result['y'] < result['yhat_lower']) | (result['y'] > result['yhat_upper'])

# Power BI renders the result dataframe as a visual
import matplotlib.pyplot as plt
plt.figure(figsize=(12, 6))
plt.plot(result['ds'], result['y'], color='blue', label='Actual')
plt.fill_between(result['ds'], result['yhat_lower'], result['yhat_upper'], alpha=0.3, label='Expected Range')
plt.scatter(result[result['is_anomaly']]['ds'], result[result['is_anomaly']]['y'], color='red', zorder=5, label='Anomaly')
plt.legend()
plt.show()

---

الأسئلة المتداولة

هل يعمل اكتشاف الحالات الشاذة مع جميع أنواع تراخيص Power BI؟

نعم. تتوفر ميزة الكشف عن الحالات الشاذة المضمنة في جميع مستويات تراخيص Power BI، بما في ذلك Power BI Pro وحتى Power BI Desktop المجاني للتطوير. لا توجد حاجة إلى سعة مميزة لميزة الكشف عن الحالات الشاذة الأساسية. ميزات الذكاء الاصطناعي التي تتطلب Premium (مثل رؤى الذكاء الاصطناعي في تدفقات البيانات، وAutoML، وبعض عمليات تكامل الخدمات المعرفية) منفصلة عن ميزة جزء التحليلات المرئية للكشف عن الحالات الشاذة.

ما مقدار البيانات التاريخية التي يحتاجها اكتشاف الحالات الشاذة لكي يعمل بشكل جيد؟

يعمل اكتشاف الحالات الشاذة في Power BI بشكل أفضل مع ما لا يقل عن 12 شهرًا من البيانات، مما يسمح له بمعرفة الأنماط الموسمية الأسبوعية والشهرية. مع أقل من 3 أشهر من البيانات، قد لا تصف الخوارزمية السلوك "العادي" بدقة، مما يؤدي إلى المزيد من النتائج الإيجابية الخاطئة خلال الفترات التي لا يتم تمثيلها بشكل جيد في نافذة التدريب. بالنسبة للشركات الموسمية للغاية (التجزئة والسياحة)، فإن أكثر من عامين من التاريخ يعمل على تحسين الدقة بشكل كبير.

هل يمكن أن يعمل اكتشاف الحالات الشاذة على البيانات المستقبلية المتوقعة؟

تم تصميم اكتشاف الشذوذ المدمج للبيانات التاريخية - فهو يحدد نقاط البيانات السابقة التي انحرفت عن النمط الذي حددته جميع البيانات السابقة. لا يعرض الشذوذات في القيم المتوقعة في المستقبل. بالنسبة للتنبؤ المستقبلي بالشذوذ (على سبيل المثال، "مسارنا الحالي شاذ ومن المرجح أن يستمر")، يلزم وجود نماذج Python أو Azure ML مخصصة.

كيف يتعامل Power BI مع سلاسل متعددة في الكشف عن الحالات الشاذة؟

عندما يحتوي المخطط الخطي على سلاسل متعددة (مقاييس متعددة على نفس المخطط)، يتم تشغيل اكتشاف الحالات الشاذة بشكل مستقل في كل سلسلة. كل سلسلة لها نطاق القيمة المتوقعة الخاص بها، وعلامات الشذوذ الخاصة بها، وتفسيراتها الخاصة عند النقر عليها. يتيح ذلك مراقبة مقاييس متعددة ذات صلة في وقت واحد - على سبيل المثال، تتبع الإيرادات والهامش الإجمالي على نفس المخطط مع اكتشاف الحالات الشاذة التي تشير إلى انحرافات غير متوقعة في أي من المقياسين.

هل يمكنني إعداد التنبيهات التي يتم تشغيلها عند اكتشاف حالة شاذة؟

يمكن تشغيل آلية التنبيه الأصلية لـ Power BI على لوحات المعلومات عند استيفاء شرط التنبيه المستند إلى البيانات (على سبيل المثال، عندما تنخفض قيمة تجانب مؤشر الأداء الرئيسي إلى ما دون الحد). لم يتم دمج هذا بشكل مباشر مع النموذج الإحصائي للكشف عن الحالات الشاذة. بالنسبة للتنبيهات التلقائية للحالات الشاذة التي تستخدم نموذج الكشف عن الذكاء الاصطناعي، يتمثل النهج الحالي في حساب درجات الشذوذ في تدفق البيانات (باستخدام Azure Anomaly Detector API) وتعيين تنبيهات لوحة المعلومات على مقياس درجة الشذوذ الناتج الذي يتجاوز الحد. التكامل الأصلي بين اكتشاف الحالات الشاذة وتنبيهات Power Automate موجود في خريطة طريق Microsoft.

---

الخطوات التالية

يعمل اكتشاف الحالات الشاذة على تحويل التحليلات التفاعلية - اكتشاف المشكلات بعد أن أثرت بالفعل على الأعمال - إلى مراقبة استباقية تلتقط الإشارات مبكرًا وتوجه جهود التحقيق إلى حيث يهم. ومن خلال دمجه مع الروايات الذكية، فإنه يتيح الإبلاغ الآلي عن الحالات الشاذة التي تبقي أصحاب المصلحة على اطلاع دون بذل جهد يدوي.

خدمات تحليلات Power BI AI من ECOSIRE تتضمن تنفيذ الكشف عن الحالات الشاذة وضبط الحساسية وتكوين السرد الذكي والكشف المتقدم عن الحالات الشاذة باستخدام Azure Cognitive Services. اتصل بنا لمناقشة كيف يمكن للتحليلات المدعومة بالذكاء الاصطناعي تحسين عمليات المراقبة واتخاذ القرار لديك.