نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة: الجزء الأول

" البيانات الكبيرة " هي تطبيق تقنيات وتقنيات متخصصة لمعالجة مجموعات كبيرة جدًا من البيانات. غالبًا ما تكون مجموعات البيانات هذه كبيرة جدًا ومعقدة بحيث يصبح من الصعب معالجتها باستخدام أدوات إدارة قواعد البيانات المتوفرة.

أدى النمو الجذري لتكنولوجيا المعلومات إلى العديد من الظروف التكميلية في الصناعة. يعد وجود البيانات الضخمة أحد أكثر النتائج ثباتًا والتي يمكن القول أنها حاضرة. مصطلح البيانات الضخمة هو عبارة تم صياغتها لوصف وجود كميات هائلة من البيانات. التأثير الناتج لامتلاك مثل هذا الكم الهائل من البيانات هو تحليلات البيانات.

تحليلات البيانات هي عملية هيكلة البيانات الضخمة. ضمن البيانات الضخمة ، توجد أنماط وارتباطات مختلفة تجعل من الممكن لتحليلات البيانات إجراء توصيف محسوب للبيانات بشكل أفضل. هذا يجعل تحليلات البيانات أحد أهم أجزاء تكنولوجيا المعلومات.

ومن ثم ، أقوم هنا بإدراج 26 تقنية لتحليل البيانات الضخمة. هذه القائمة ليست بأي حال شاملة.

1. اختبار A / B

اختبار أ / ب هو أداة تقييم لتحديد إصدار صفحة الويب أو التطبيق الذي يساعد المؤسسة أو الفرد على تحقيق هدف العمل بشكل أكثر فعالية. يتم اتخاذ هذا القرار من خلال مقارنة أي إصدار من شيء يعمل بشكل أفضل. يستخدم اختبار A / B بشكل شائع في تطوير الويب للتأكد من أن التغييرات التي تطرأ على صفحة الويب أو مكون الصفحة مدفوعة بالبيانات وليس الآراء الشخصية.

يطلق عليه أيضًا اختبار الانسكاب أو اختبار الجرافة.

راجع أيضًا:  المنطقة الرمادية للبيانات الضخمة - ما يجب فعله وما لا يجب فعله

1. تعلم قواعد الرابطة

مجموعة من الأساليب لاكتشاف العلاقات الممتعة ، مثل "قواعد الارتباط" بين المتغيرات في قواعد البيانات الكبيرة. تتكون هذه التقنيات من مجموعة متنوعة من الخوارزميات لإنشاء واختبار القواعد الممكنة.

أحد التطبيقات هو تحليل سلة السوق ، حيث يمكن لمتاجر التجزئة تحديد المنتجات التي يتم شراؤها بشكل متكرر معًا واستخدام هذه المعلومات للتسويق. (المثال الشائع هو اكتشاف أن العديد من متسوقي السوبر ماركت الذين يشترون الناتشوز يشترون البيرة أيضًا).

1. تحليل شجرة التصنيف

التصنيف الإحصائي هو طريقة لتحديد الفئات التي تنتمي إليها الملاحظة الجديدة. يتطلب مجموعة تدريبية من الملاحظات المحددة بشكل صحيح - البيانات التاريخية بعبارة أخرى.

يتم استخدام التصنيف الإحصائي من أجل:

• تعيين المستندات إلى الفئات تلقائيًا
• تصنيف الكائنات الحية إلى مجموعات
• تطوير ملفات تعريف الطلاب الذين يأخذون دورات عبر الإنترنت

1. التحليل العنقودي

طريقة إحصائية لتصنيف الكائنات التي تقسم مجموعة متنوعة إلى مجموعات أصغر من الكائنات المتشابهة ، والتي لا تُعرف خصائص التشابه مسبقًا. مثال على تحليل الكتلة هو تقسيم المستهلكين إلى مجموعات متشابهة ذاتيًا للتسويق المستهدف. تستخدم لاستخراج البيانات.

1. التعهيد الجماعي

في التعهيد الجماعي ، يكون الفارق الدقيق هو أن مهمة أو وظيفة يتم الاستعانة بمصادر خارجية ولكن ليس لمهني أو منظمة معينة ولكن لعامة الناس في شكل مكالمة مفتوحة. التعهيد الجماعي هو أسلوب يمكن نشره لجمع البيانات من مصادر مختلفة مثل الرسائل النصية وتحديثات الوسائط الاجتماعية والمدونات وما إلى ذلك. هذا نوع من التعاون الجماعي ومثال لاستخدام الويب.

1. دمج البيانات وتكامل البيانات

عملية متعددة المستويات تتعامل مع الارتباط والارتباط ومجموعة البيانات والمعلومات من مصادر فردية ومتعددة لتحقيق موقف دقيق وتحديد التقديرات وتقييمات كاملة وفي الوقت المناسب للمواقف والتهديدات وأهميتها.

تجمع تقنيات دمج البيانات البيانات من أجهزة استشعار متعددة والمعلومات ذات الصلة من قواعد البيانات المرتبطة بها لتحقيق دقة محسنة واستنتاجات أكثر تحديدًا مما يمكن تحقيقه باستخدام مستشعر واحد فقط.

انظر أيضًا:  دليل المبتدئين لتحليلات البيانات الضخمة

1. بيانات التعدين

التنقيب في البيانات هو الفرز من خلال البيانات لتحديد الأنماط وإقامة العلاقات. يُشار إلى التنقيب في البيانات إلى تقنيات استخراج البيانات الجماعية التي يتم إجراؤها على حجم كبير من البيانات. تتضمن معلمات استخراج البيانات الارتباط وتحليل التسلسل والتصنيف والتجميع والتنبؤ.

تتضمن التطبيقات بيانات العملاء للتعدين لتحديد القطاعات التي من المرجح أن تستجيب للعرض ، أو استخراج بيانات الموارد البشرية لتحديد خصائص الموظفين الأكثر نجاحًا ، أو تحليل سلة السوق لنمذجة سلوك الشراء للعملاء.

1. فرقة التعلم

إنه فن الجمع بين مجموعة متنوعة من خوارزميات التعلم معًا للارتجال على الاستقرار والقوة التنبؤية للنموذج. هذا نوع من التعلم الخاضع للإشراف.

1. الخوارزميات الجينية

تقنيات التحسين التي تستخدم عمليات مثل التركيب الجيني والطفرة والانتقاء الطبيعي في تصميم يعتمد على مفاهيم التطور الطبيعي. الخوارزميات الجينية هي تقنيات تُستخدم لتحديد مقاطع الفيديو والبرامج التلفزيونية وأشكال الوسائط الأخرى التي يحتمل مشاهدتها. هناك نمط تطوري يمكن القيام به باستخدام الخوارزميات الجينية. يمكن إجراء تحليلات الفيديو والوسائط باستخدام الخوارزميات الجينية.

1. التعلم الالي

التعلم الآلي هو أسلوب آخر يمكن استخدامه لتصنيف وتحديد النتيجة المحتملة لمجموعة معينة من البيانات. يعرّف التعلم الآلي البرنامج الذي يمكنه تحديد النتائج المحتملة لمجموعة معينة من الأحداث. لذلك يتم استخدامه في التحليلات التنبؤية. مثال على التحليلات التنبؤية هو احتمال الفوز بالقضايا القانونية أو نجاح بعض المنتجات.

1. معالجة اللغة الطبيعية

مجموعة من التقنيات من تخصص فرعي في علوم الكمبيوتر (ضمن مجال يسمى تاريخيًا "الذكاء الاصطناعي") واللغويات التي تستخدم خوارزميات الكمبيوتر لتحليل اللغة البشرية (الطبيعية). العديد من تقنيات البرمجة اللغوية العصبية هي أنواع من التعلم الآلي. أحد تطبيقات البرمجة اللغوية العصبية هو استخدام تحليل المشاعر على وسائل التواصل الاجتماعي لتحديد كيفية تفاعل العملاء المحتملين مع حملة العلامات التجارية.

1. الشبكات العصبية

النماذج التنبؤية غير الخطية التي تتعلم من خلال التدريب وتشبه الشبكات العصبية البيولوجية في البنية. يمكن استخدامها للتعرف على الأنماط وتحسينها. تتضمن بعض تطبيقات الشبكة العصبية التعلم الخاضع للإشراف والبعض الآخر يتضمن التعلم غير الخاضع للإشراف. تتضمن أمثلة التطبيقات تحديد العملاء ذوي القيمة العالية المعرضين لخطر مغادرة شركة معينة وتحديد مطالبات التأمين الاحتيالية.

اقرأ أيضًا:  40 حقيقة محيرة للعقل حول البيانات الضخمة

1. الاقوي

مجموعة من التقنيات العددية المستخدمة لإعادة تصميم الأنظمة والعمليات المعقدة لتحسين أدائها وفقًا لواحد أو أكثر من المقاييس الموضوعية (مثل التكلفة أو السرعة أو الموثوقية). تتضمن أمثلة التطبيقات تحسين العمليات التشغيلية مثل الجدولة والتوجيه وتخطيط الأرضية واتخاذ قرارات إستراتيجية مثل إستراتيجية نطاق المنتجات وتحليل الاستثمار المرتبط واستراتيجية محفظة البحث والتطوير. الخوارزميات الجينية هي مثال على تقنية التحسين.

في مدونتي التالية ، سأصف تقنيات تحليلات البيانات الضخمة الـ 13 المتبقية.

قراءة: الجزء التالي من نظرة ثاقبة على 26 أسلوبًا لتحليل البيانات الضخمة