O perspectivă asupra a 26 de tehnici de analiză a datelor mari: partea a 2-a

Până acum, în blogurile mele despre Big Data , v-am familiarizat cu diferite aspecte ale Big Data, de la Ce înseamnă de fapt până la fapte și lucruri de făcut și ce nu. În blogul anterior am văzut câteva tehnici de analiză a datelor mari. Luând lista mai departe în acest blog.

1. Recunoasterea formelor

Recunoașterea modelelor este o ramură a învățării automate care se concentrează pe recunoașterea modelelor și regularităților în date, deși în unele cazuri este considerată aproape sinonimă cu învățarea automată. Sistemele de recunoaștere a modelelor sunt în multe cazuri antrenate din date etichetate „de antrenament” (învățare supravegheată), dar când nu sunt disponibile date etichetate pot fi utilizați alți algoritmi pentru a descoperi modele necunoscute anterior (învățare nesupravegheată).

1. Modelare predictivă

Analiza predictivă cuprinde o varietate de tehnici care prezic rezultate viitoare pe baza datelor istorice și actuale. În practică, analiza predictivă poate fi aplicată la aproape toate disciplinele – de la prezicerea defecțiunii motoarelor cu reacție pe baza fluxului de date de la câteva mii de senzori, până la prezicerea următoarelor mișcări ale clienților pe baza a ceea ce cumpără, când cumpără și chiar a ceea ce cumpără. spun ei pe rețelele de socializare. Tehnicile de analiză predictivă se bazează în primul rând pe metode statistice.

Consultați și:  Ghidul pentru începători pentru Big Data Analytics

1. Analiza de regresie

Aceasta este o tehnică care utilizează variabile independente și modul în care acestea afectează variabilele dependente. Aceasta poate fi o tehnică foarte utilă în determinarea analizei rețelelor sociale, cum ar fi probabilitatea de a găsi dragostea pe o platformă de internet.

1. Analiza sentimentelor

Analiza sentimentelor îi ajută pe cercetători să determine sentimentele vorbitorilor sau scriitorilor cu privire la un subiect. Analiza sentimentelor este folosită pentru a ajuta:

• Îmbunătățiți serviciile într-un lanț hotelier analizând comentariile oaspeților.
• Personalizați stimulentele și serviciile pentru a răspunde la ceea ce își cer cu adevărat clienții.
• Determinați ce gândesc cu adevărat consumatorii pe baza opiniilor din rețelele sociale.

1. Procesare semnal

Prelucrarea semnalului este o tehnologie de permitere care cuprinde teoria fundamentală, aplicațiile, algoritmii și implementările de procesare sau transfer de informații conținute în multe formate fizice, simbolice sau abstracte diferite, desemnate în linii mari drept semnale . Utilizează reprezentări, formalisme și tehnici matematice, statistice, computaționale, euristice și lingvistice pentru reprezentare, modelare, analiză, sinteză, descoperire, recuperare, detecție, achiziție, extracție, învățare, securitate sau criminalistică. Exemplele de aplicații includ modelarea pentru analiza serii de timp sau implementarea fuziunii datelor pentru a determina o citire mai precisă prin combinarea datelor dintr-un set de surse de date mai puțin precise (adică, extragerea semnalului din zgomot).

1. Analiza spatiala

Analiza spațială este procesul prin care transformăm datele brute în informații utile. Este procesul de examinare a locațiilor, atributelor și relațiilor caracteristicilor din datele spațiale prin suprapunere și alte tehnici analitice pentru a aborda o întrebare sau pentru a obține cunoștințe utile. Analiza spațială extrage sau creează informații noi din datele spațiale.

1. Statistici

În statistică, analiza exploratorie a datelor este o abordare a analizei seturilor de date pentru a rezuma principalele caracteristici ale acestora, adesea cu metode vizuale. Un model statistic poate fi folosit sau nu, dar în primul rând EDA este pentru a vedea ce ne pot spune datele dincolo de sarcina de modelare formală sau de testare a ipotezelor. Tehnicile statistice sunt, de asemenea, utilizate pentru a reduce probabilitatea erorilor de tip I („false pozitive”) și a erorilor de tip II („false negative”). Un exemplu de aplicație este testarea A/B pentru a determina ce tipuri de materiale de marketing vor crește cel mai mult veniturile.

Vezi și:  40 de fapte uluitoare despre Big Data

1. Învățare supravegheată

Învățarea supravegheată este sarcina de învățare automată de a deduce o funcție din datele de antrenament etichetate. Datele de instruire constau dintr-un set de exemple de antrenament . În învățarea supravegheată, fiecare exemplu este o pereche formată dintr-un obiect de intrare (de obicei un vector) și o valoare de ieșire dorită (numită și semnal de supraveghere ). Un algoritm de învățare supravegheată analizează datele de antrenament și produce o funcție dedusă, care poate fi utilizată pentru cartografierea unor noi exemple.

1. Analiza rețelelor sociale

Analiza rețelelor sociale este o tehnică care a fost folosită mai întâi în industria telecomunicațiilor și apoi adoptată rapid de sociologi pentru a studia relațiile interumane. Acum se aplică pentru a analiza relațiile dintre oameni din multe domenii și activități comerciale. Nodurile reprezintă indivizi în cadrul unei rețele, în timp ce legăturile reprezintă relațiile dintre indivizi.

1. Simulare

Modelarea comportamentului sistemelor complexe, adesea folosite pentru prognoză, predicție și planificare de scenarii. Simulările Monte Carlo, de exemplu, sunt o clasă de algoritmi care se bazează pe eșantionarea aleatorie repetă, adică rularea a mii de simulări, fiecare bazată pe ipoteze diferite. Rezultatul este o histogramă care oferă o distribuție de probabilitate a rezultatelor. O aplicație evaluează probabilitatea îndeplinirii obiectivelor financiare, având în vedere incertitudinile legate de succesul diferitelor inițiative

1. Analiza serii temporale

Analiza serii cronologice cuprinde metode de analiză a datelor din seria cronologică pentru a extrage statistici semnificative și alte caracteristici ale datelor. Datele din seria cronologică apar adesea atunci când monitorizează procesele industriale sau urmăresc valorile afacerii corporative. Analiza seriilor temporale ia în considerare faptul că punctele de date preluate de-a lungul timpului pot avea o structură internă (cum ar fi autocorelația, tendința sau variația sezonieră) care ar trebui luată în considerare. Exemplele de analiză a seriilor temporale includ valoarea orară a unui indice bursier sau numărul de pacienți diagnosticați cu o anumită afecțiune în fiecare zi.

1. Învățare nesupravegheată

Învățarea nesupravegheată este sarcina de învățare automată de a deduce o funcție pentru a descrie structura ascunsă din datele neetichetate. Deoarece exemplele date cursantului nu sunt etichetate, nu există niciun semnal de eroare sau recompensă pentru a evalua o soluție potențială - acest lucru distinge învățarea nesupravegheată de învățarea supravegheată și de învățare prin consolidare.

Cu toate acestea, învățarea nesupravegheată cuprinde și multe alte tehnici care încearcă să rezumă și să explice caracteristicile cheie ale datelor.

1. Vizualizarea

Vizualizarea datelor este pregătirea datelor într-un format pictural sau grafic. Le permite factorilor de decizie să vadă analizele prezentate vizual, astfel încât să poată înțelege concepte dificile sau să identifice noi modele. Cu vizualizarea interactivă, puteți duce conceptul cu un pas mai departe utilizând tehnologia pentru a detalia diagrame și grafice pentru mai multe detalii, schimbând în mod interactiv datele pe care le vedeți și modul în care sunt procesate.

Concluzie

Analiza datelor mari a fost una dintre cele mai importante descoperiri din industria tehnologiei informației. De fapt, Big Data și-a arătat importanța și nevoia aproape în toate sectoarele și în toate departamentele acelor industrii. Nu există un singur aspect al vieții care să nu fi fost afectat de Big Data, nici măcar viețile noastre personale. Prin urmare, avem nevoie de Big Data Analytics pentru a gestiona eficient aceste cantități uriașe de date.

După cum am spus mai devreme, această listă nu este exhaustivă. Cercetătorii încă experimentează noi modalități de a analiza aceste cantități uriașe de date care sunt prezente într-o varietate de forme a căror viteză de generare crește odată cu timpul pentru a obține valori pentru utilizările noastre specifice.