نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الثاني

حتى الآن في مدوناتي حول البيانات الضخمة ، تعرفت على جوانب مختلفة من البيانات الضخمة ، بدءًا من ما تعنيه في الواقع وانتهاءً بالحقائق وما يجب فعله وما لا يجب فعله. في المدونة السابقة رأينا بعض تقنيات تحليلات البيانات الضخمة. أخذ القائمة أكثر في هذه المدونة.

1. التعرف على الأنماط

التعرف على الأنماط هو فرع من فروع التعلم الآلي الذي يركز على التعرف على الأنماط والانتظام في البيانات ، على الرغم من أنه في بعض الحالات يعتبر مرادفًا تقريبًا للتعلم الآلي. يتم تدريب أنظمة التعرف على الأنماط في كثير من الحالات من بيانات "التدريب" المسمى (التعلم الخاضع للإشراف) ، ولكن عندما لا تتوفر بيانات مصنفة ، يمكن استخدام خوارزميات أخرى لاكتشاف الأنماط غير المعروفة سابقًا (التعلم غير الخاضع للإشراف).

1. النمذجة التنبؤية

تشتمل التحليلات التنبؤية على مجموعة متنوعة من التقنيات التي تتنبأ بالنتائج المستقبلية بناءً على البيانات التاريخية والحالية. من الناحية العملية ، يمكن تطبيق التحليلات التنبؤية على جميع التخصصات تقريبًا - من التنبؤ بفشل المحركات النفاثة بناءً على تدفق البيانات من عدة آلاف من أجهزة الاستشعار ، إلى توقع تحركات العملاء التالية بناءً على ما يشترونه ، ومتى يشترون ، وحتى ماذا يقولون على وسائل التواصل الاجتماعي. تعتمد تقنيات التحليلات التنبؤية في المقام الأول على الأساليب الإحصائية.

انظر أيضًا:  دليل المبتدئين لتحليلات البيانات الضخمة

1. تحليل الانحدار

هذه تقنية تستخدم المتغيرات المستقلة وكيف تؤثر على المتغيرات التابعة. يمكن أن يكون هذا أسلوبًا مفيدًا للغاية في تحديد تحليلات الوسائط الاجتماعية مثل احتمال العثور على الحب عبر منصة الإنترنت.

1. تحليل المشاعر

يساعد تحليل المشاعر الباحثين على تحديد مشاعر المتحدثين أو الكتاب فيما يتعلق بموضوع ما. يتم استخدام تحليل المشاعر للمساعدة:

• تحسين الخدمة في سلسلة فنادق من خلال تحليل تعليقات النزلاء.
• تخصيص الحوافز والخدمات لتلبية ما يطلبه العملاء حقًا.
• حدد ما يعتقده المستهلكون حقًا بناءً على الآراء من وسائل التواصل الاجتماعي.

1. معالجة الإشارات

معالجة الإشارات هي تقنية تمكينية تشمل النظرية الأساسية والتطبيقات والخوارزميات والتطبيقات الخاصة بمعالجة أو نقل المعلومات الموجودة في العديد من التنسيقات المادية أو الرمزية أو المجردة المختلفة المصنفة على نطاق واسع كإشارات . يستخدم التمثيلات الرياضية والإحصائية والحسابية واللغوية والشكليات والتقنيات للتمثيل والنمذجة والتحليل والتوليف والاكتشاف والاسترداد والاستشعار والاكتساب والاستخراج والتعلم والأمن أو الطب الشرعي. تتضمن تطبيقات العينة نمذجة لتحليل السلاسل الزمنية أو تنفيذ اندماج البيانات لتحديد قراءة أكثر دقة من خلال دمج البيانات من مجموعة من مصادر البيانات الأقل دقة (أي استخراج الإشارة من الضوضاء).

1. التحليل المكاني

التحليل المكاني هو العملية التي نحول بها البيانات الأولية إلى معلومات مفيدة. إنها عملية فحص المواقع والسمات وعلاقات الميزات في البيانات المكانية من خلال التراكب والتقنيات التحليلية الأخرى من أجل معالجة سؤال أو اكتساب معرفة مفيدة. يستخرج التحليل المكاني معلومات جديدة من البيانات المكانية أو ينشئها.

1. إحصائيات

في الإحصاء ، يعد تحليل البيانات الاستكشافية نهجًا لتحليل مجموعات البيانات لتلخيص خصائصها الرئيسية ، غالبًا باستخدام الأساليب المرئية. يمكن استخدام نموذج إحصائي أم لا ، ولكن في المقام الأول EDA هو لمعرفة ما يمكن أن تخبرنا به البيانات خارج مهمة النمذجة الرسمية أو اختبار الفرضية. تُستخدم الأساليب الإحصائية أيضًا لتقليل احتمالية حدوث أخطاء من النوع الأول ("الإيجابيات الخاطئة") وأخطاء النوع الثاني ("السلبيات الخاطئة"). مثال على التطبيق هو اختبار A / B لتحديد أنواع المواد التسويقية التي ستزيد الإيرادات بشكل أكبر.

انظر أيضًا:  40 حقائق محيرة للعقل حول البيانات الضخمة

1. التعلم تحت الإشراف

التعلم الخاضع للإشراف هو مهمة التعلم الآلي المتمثلة في استنتاج وظيفة من بيانات التدريب المصنفة. تتكون بيانات التدريب من مجموعة من الأمثلة التدريبية . في التعلم الخاضع للإشراف ، يكون كل مثال زوجًا يتكون من كائن إدخال (عادةً متجه) وقيمة إخراج مرغوبة (تسمى أيضًا الإشارة الإشرافية ). تحلل خوارزمية التعلم الخاضعة للإشراف بيانات التدريب وتنتج وظيفة مستنتجة يمكن استخدامها لرسم خرائط لأمثلة جديدة.

1. تحليل الشبكة الاجتماعية

تحليل الشبكة الاجتماعية هو أسلوب تم استخدامه لأول مرة في صناعة الاتصالات ، ثم سرعان ما اعتمده علماء الاجتماع لدراسة العلاقات الشخصية. يتم تطبيقه الآن لتحليل العلاقات بين الناس في العديد من المجالات والأنشطة التجارية. تمثل العقد الأفراد داخل شبكة ، بينما تمثل الروابط العلاقات بين الأفراد.

1. محاكاة

نمذجة سلوك الأنظمة المعقدة ، وغالبًا ما تستخدم للتنبؤ والتنبؤ وتخطيط السيناريو. محاكاة مونت كارلو ، على سبيل المثال ، هي فئة من الخوارزميات التي تعتمد على أخذ عينات عشوائية متكررة ، أي تشغيل الآلاف من عمليات المحاكاة ، كل على أساس افتراضات مختلفة. والنتيجة هي رسم بياني يعطي توزيعًا احتماليًا للنتائج. أحد التطبيقات هو تقييم احتمالية تحقيق الأهداف المالية بالنظر إلى الشكوك حول نجاح المبادرات المختلفة

1. تحليل السلاسل الزمنية

يشتمل تحليل السلاسل الزمنية على طرق لتحليل بيانات السلاسل الزمنية من أجل استخراج إحصائيات ذات مغزى وخصائص أخرى للبيانات. غالبًا ما تظهر بيانات السلاسل الزمنية عند مراقبة العمليات الصناعية أو تتبع مقاييس أعمال الشركة. يراعي تحليل السلاسل الزمنية حقيقة أن نقاط البيانات التي يتم أخذها بمرور الوقت قد يكون لها هيكل داخلي (مثل الارتباط التلقائي أو الاتجاه أو التباين الموسمي) التي يجب أخذها في الاعتبار. تتضمن أمثلة تحليل السلاسل الزمنية القيمة بالساعة لمؤشر سوق الأوراق المالية أو عدد المرضى الذين تم تشخيصهم بحالة معينة كل يوم.

1. تعليم غير مشرف عليه

التعلم غير الخاضع للإشراف هو مهمة التعلم الآلي لاستنتاج وظيفة لوصف البنية المخفية من البيانات غير المسماة. نظرًا لأن الأمثلة المقدمة إلى المتعلم غير مصنفة ، فلا توجد إشارة خطأ أو مكافأة لتقييم حل محتمل - وهذا يميز التعلم غير الخاضع للإشراف من التعلم الخاضع للإشراف والتعلم المعزز.

ومع ذلك ، فإن التعلم غير الخاضع للإشراف يشمل أيضًا العديد من التقنيات الأخرى التي تسعى إلى تلخيص وشرح السمات الرئيسية للبيانات.

1. التصور

تصور البيانات هو إعداد البيانات بتنسيق تصويري أو رسومي. إنه يمكّن صانعي القرار من رؤية التحليلات المقدمة بصريًا ، حتى يتمكنوا من فهم المفاهيم الصعبة أو تحديد أنماط جديدة. من خلال التصور التفاعلي ، يمكنك أن تأخذ المفهوم خطوة إلى الأمام باستخدام التكنولوجيا للتنقل إلى المخططات والرسوم البيانية لمزيد من التفاصيل ، وتغيير البيانات التي تراها وكيفية معالجتها بشكل تفاعلي.

استنتاج

تعد تحليلات البيانات الضخمة أحد أهم الاختراقات في صناعة تكنولوجيا المعلومات. في الواقع ، أظهرت البيانات الضخمة أهميتها وحاجتها في جميع القطاعات تقريبًا وفي جميع أقسام تلك الصناعات. لا يوجد جانب واحد من جوانب الحياة لم يتأثر بالبيانات الضخمة ، ولا حتى حياتنا الشخصية. ومن ثم نحتاج إلى تحليلات البيانات الضخمة لإدارة هذه الكميات الضخمة من البيانات بكفاءة.

كما قيل من قبل هذه القائمة ليست شاملة. لا يزال الباحثون يجربون طرقًا جديدة لتحليل هذه الكميات الهائلة من البيانات الموجودة في مجموعة متنوعة من الأشكال التي تزداد سرعة توليدها بمرور الوقت لاشتقاق قيم لاستخداماتنا المحددة.