O perspectivă asupra a 26 de tehnici de analiză a datelor mari: partea 1

„ Big Data ” este aplicarea unor tehnici și tehnologii specializate pentru a procesa seturi foarte mari de date. Aceste seturi de date sunt adesea atât de mari și complexe încât devine dificil de prelucrat folosind instrumente de gestionare a bazelor de date disponibile.

Creșterea radicală a tehnologiei informației a dus la câteva condiții complementare în industrie. Unul dintre cele mai persistente și, probabil, cele mai prezente rezultate, este prezența Big Data. Termenul Big Data este o expresie de slogan a fost creat pentru a descrie prezența unor cantități uriașe de date. Efectul rezultat al unei cantități atât de mari de date este Data Analytics.

Data Analytics este procesul de structurare a Big Data. În cadrul Big Data, există diferite modele și corelații care fac posibil ca analiza datelor să facă o caracterizare mai bine calculată a datelor. Acest lucru face ca analiza datelor să fie una dintre cele mai importante părți ale tehnologiei informației.

Prin urmare, voi enumera cele 26 de tehnici de analiză a datelor mari. Această listă nu este deloc exhaustivă.

1. Testare A/B

Testarea A/B este un instrument de evaluare pentru a identifica ce versiune a unei pagini web sau a unei aplicații ajută o organizație sau o persoană să atingă un obiectiv de afaceri mai eficient. Această decizie este luată comparând versiunea a ceva mai performantă. Testarea A/B este folosită în mod obișnuit în dezvoltarea web pentru a se asigura că modificările unei pagini web sau ale unei componente ale paginii sunt determinate de date și nu de opinia personală.

Se mai numește și testarea vărsării sau testarea cu găleată.

Vezi și:  Zona gri Big Data – Ce se poate și ce nu

1. Învățarea regulilor de asociere

Un set de tehnici pentru descoperirea de relații interesante, adică „reguli de asociere”, între variabilele din bazele de date mari. Aceste tehnici constau dintr-o varietate de algoritmi pentru a genera și testa reguli posibile.

O aplicație este analiza coșului de piață, în care un comerciant cu amănuntul poate determina ce produse sunt cumpărate frecvent împreună și poate utiliza aceste informații pentru marketing. (Un exemplu frecvent citat este descoperirea că mulți cumpărători de supermarketuri care cumpără nachos cumpără și bere.)

1. Analiza arborelui de clasificare

Clasificarea statistică este o metodă de identificare a categoriilor cărora le aparține o nouă observație. Este nevoie de un set de antrenament de observații identificate corect - cu alte cuvinte date istorice.

Clasificarea statistică este utilizată pentru:

• Atribuiți automat documente pe categorii
• Clasificați organismele în grupuri
• Dezvoltați profiluri ale studenților care urmează cursuri online

1. Analiza grupului

O metodă statistică de clasificare a obiectelor care împarte un grup divers în grupuri mai mici de obiecte similare, ale căror caracteristici de similitudine nu sunt cunoscute dinainte. Un exemplu de analiză de cluster este segmentarea consumatorilor în grupuri auto-similare pentru marketing direcționat. Folosit pentru data mining.

1. Crowdsourcing

În crowdsourcing, nuanța este că o sarcină sau un loc de muncă este externalizat, dar nu unui profesionist sau organizație desemnată, ci publicului larg sub forma unui apel deschis. Crowdsourcing-ul este o tehnică care poate fi implementată pentru a colecta date din diverse surse, cum ar fi mesaje text, actualizări de rețele sociale, bloguri etc. Acesta este un tip de colaborare în masă și o instanță de utilizare a Web-ului.

1. Fuziunea și integrarea datelor

Un proces pe mai multe niveluri care se ocupă de asocierea, corelarea, combinația de date și informații din surse unice și multiple pentru a obține o poziție rafinată, a identifica estimări și evaluări complete și în timp util ale situațiilor, amenințărilor și semnificației acestora.

Tehnicile de fuziune a datelor combină datele de la mai mulți senzori și informațiile aferente din bazele de date asociate pentru a obține o precizie îmbunătățită și inferențe mai specifice decât ar putea fi obținute prin utilizarea unui singur senzor.

Consultați și:  Ghidul pentru începători pentru Big Data Analytics

1. Exploatarea datelor

Exploatarea datelor este sortarea datelor pentru a identifica tipare și a stabili relații. Exploatarea datelor se referă la tehnicile colective de extracție a datelor care sunt efectuate pe un volum mare de date. Parametrii de extragere a datelor includ Asociere, Analiza secvenței, clasificarea, Clustering și Forecasting.

Aplicațiile includ extragerea datelor despre clienți pentru a determina segmentele cu cea mai mare probabilitate de a răspunde la o ofertă, extragerea datelor de resurse umane pentru a identifica caracteristicile celor mai de succes angajați sau analiza coșului de piață pentru a modela comportamentul de cumpărare al clienților.

1. Învățare prin ansamblu

Este o artă de a combina un set divers de algoritmi de învățare împreună pentru a improviza stabilitatea și puterea de predicție a modelului. Acesta este un tip de învățare supravegheată.

1. Algoritmi genetici

Tehnici de optimizare care utilizează procese precum combinația genetică, mutația și selecția naturală într-un design bazat pe conceptele de evoluție naturală. Algoritmii genetici sunt tehnici care sunt folosite pentru a identifica videoclipurile, emisiunile TV și alte forme de media cel mai posibil vizionate. Există un model evolutiv care poate fi realizat prin utilizarea algoritmilor genetici. Analiza video și media poate fi realizată prin utilizarea algoritmilor genetici.

1. Învățare automată

Învățarea automată este o altă tehnică care poate fi utilizată pentru a clasifica și a determina rezultatul probabil al unui anumit set de date. Machine Learning definește un software care poate fi capabil să determine rezultatele posibile ale unui anumit set de evenimente. Prin urmare, este utilizat în analiza predictivă. Un exemplu de analiză predictivă este probabilitatea de a câștiga cazuri legale sau succesul anumitor producții.

1. Procesarea limbajului natural

Un set de tehnici dintr-o subspecialitate a informaticii (într-un domeniu numit istoric „inteligență artificială”) și lingvistică care utilizează algoritmi de computer pentru a analiza limbajul uman (natural). Multe tehnici NLP sunt tipuri de învățare automată. O aplicație a NLP este utilizarea analizei sentimentelor pe rețelele sociale pentru a determina modul în care clienții potențiali reacționează la o campanie de branding.

1. Rețele neuronale

Modele predictive neliniare care învață prin antrenament și seamănă cu rețelele neuronale biologice în structură. Ele pot fi utilizate pentru recunoașterea și optimizarea modelelor. Unele aplicații de rețele neuronale implică învățarea supravegheată, iar altele implică învățarea nesupravegheată. Exemplele de aplicații includ identificarea clienților de mare valoare care riscă să părăsească o anumită companie și identificarea daunelor de asigurare frauduloase.

Citește și:  40 de fapte uluitoare despre Big Data

1. Optimizare

Un portofoliu de tehnici numerice utilizate pentru a reproiecta sisteme și procese complexe pentru a le îmbunătăți performanța conform uneia sau mai multor măsuri obiective (de exemplu, cost, viteză sau fiabilitate). Exemplele de aplicații includ îmbunătățirea proceselor operaționale, cum ar fi programarea, rutarea și amenajarea etajului și luarea de decizii strategice, cum ar fi strategia de gamă de produse, analiza investițiilor asociate și strategia de portofoliu de cercetare și dezvoltare. Algoritmii genetici sunt un exemplu de tehnică de optimizare.

În următorul meu blog, aș descrie celelalte 13 tehnici de analiză a datelor Big Data.

Citiți: Următoarea parte a unei perspective asupra a 26 de tehnici de analiză a datelor mari