Een inzicht in 26 Big Data-analysetechnieken: deel 2

Tot nu toe heb ik je in mijn blogs over Big Data laten kennismaken met verschillende aspecten van Big Data, van Wat het eigenlijk betekent tot feiten en do's en don'ts ervan. In de vorige blog zagen we enkele Big Data Analytics-technieken. De lijst verder in deze blog.

1. Patroonherkenning

Patroonherkenning is een tak van machine learning die zich richt op het herkennen van patronen en regelmatigheden in gegevens, hoewel het in sommige gevallen wordt beschouwd als bijna synoniem met machine learning. Patroonherkenningssystemen worden in veel gevallen getraind op basis van gelabelde "training" -gegevens (gesuperviseerd leren), maar wanneer er geen gelabelde gegevens beschikbaar zijn, kunnen andere algoritmen worden gebruikt om voorheen onbekende patronen te ontdekken (niet-gesuperviseerd leren).

1. Voorspellende modellering

Voorspellende analyses omvatten een verscheidenheid aan technieken die toekomstige resultaten voorspellen op basis van historische en huidige gegevens. In de praktijk kunnen voorspellende analyses worden toegepast op bijna alle disciplines - van het voorspellen van het falen van straalmotoren op basis van de gegevensstroom van enkele duizenden sensoren tot het voorspellen van de volgende stappen van klanten op basis van wat ze kopen, wanneer ze kopen en zelfs wat zeggen ze op sociale media. Voorspellende analysetechnieken zijn voornamelijk gebaseerd op statistische methoden.

Zie ook:  Een beginnershandleiding voor big data-analyse

1. Regressie analyse

Dit is een techniek waarbij gebruik wordt gemaakt van onafhankelijke variabelen en hoe deze afhankelijke variabelen beïnvloeden. Dit kan een zeer nuttige techniek zijn bij het bepalen van analyses van sociale media, zoals de kans om liefde te vinden via een internetplatform.

1. Sentiment analyse

Sentimentanalyse helpt onderzoekers de sentimenten van sprekers of schrijvers met betrekking tot een onderwerp te bepalen. Sentimentanalyse wordt gebruikt om te helpen:

• Verbeter de service bij een hotelketen door gastcommentaren te analyseren.
• Pas incentives en services aan om aan te pakken waar klanten echt om vragen.
• Bepaal wat consumenten echt denken op basis van meningen van sociale media.

1. Signaalverwerking

Signaalverwerking is een ondersteunende technologie die de fundamentele theorie, toepassingen, algoritmen en implementaties omvat van het verwerken of overdragen van informatie in veel verschillende fysieke, symbolische of abstracte formaten die algemeen worden aangeduid als signalen . Het maakt gebruik van wiskundige, statistische, computationele, heuristische en linguïstische representaties, formalismen en technieken voor representatie, modellering, analyse, synthese, ontdekking, herstel, detectie, acquisitie, extractie, leren, beveiliging of forensisch onderzoek. Voorbeelden van toepassingen zijn modellering voor analyse van tijdreeksen of het implementeren van gegevensfusie om een ​​nauwkeurigere uitlezing te bepalen door gegevens uit een reeks minder nauwkeurige gegevensbronnen te combineren (dwz het signaal uit de ruis halen).

1. Spatiële analyse

Ruimtelijke analyse is het proces waarbij we ruwe data omzetten in bruikbare informatie. Het is het proces van het onderzoeken van de locaties, attributen en relaties van kenmerken in ruimtelijke gegevens door middel van overlay en andere analytische technieken om een ​​vraag te beantwoorden of nuttige kennis op te doen. Ruimtelijke analyse extraheert of creëert nieuwe informatie uit ruimtelijke gegevens.

1. Statistieken

In de statistiek is verkennende data-analyse een benadering voor het analyseren van datasets om hun belangrijkste kenmerken samen te vatten, vaak met visuele methoden. Een statistisch model kan worden gebruikt of niet, maar EDA is in de eerste plaats bedoeld om te zien wat de gegevens ons kunnen vertellen buiten de formele modellering of het testen van hypothesen. Statistische technieken worden ook gebruikt om de kans op Type I-fouten (“false positives”) en Type II-fouten (“false negatives”) te verkleinen. Een voorbeeld van een toepassing is A/B-testen om te bepalen met welke soorten marketingmateriaal de omzet het meest zal stijgen.

Zie ook:  40 verbijsterende feiten over big data

1. Leren onder toezicht

Supervised learning is de machine learning-taak om een ​​functie af te leiden uit gelabelde trainingsgegevens. De trainingsgegevens bestaan ​​uit een reeks trainingsvoorbeelden . Bij begeleid leren is elk voorbeeld een paar dat bestaat uit een invoerobject (meestal een vector) en een gewenste uitvoerwaarde (ook wel het toezichtsignaal genoemd ). Een begeleid leeralgoritme analyseert de trainingsgegevens en produceert een afgeleide functie, die kan worden gebruikt om nieuwe voorbeelden in kaart te brengen.

1. Sociale netwerkanalyse

Analyse van sociale netwerken is een techniek die voor het eerst werd gebruikt in de telecommunicatie-industrie en vervolgens snel werd toegepast door sociologen om interpersoonlijke relaties te bestuderen. Het wordt nu toegepast om de relaties tussen mensen op vele terreinen en commerciële activiteiten te analyseren. Knooppunten vertegenwoordigen individuen binnen een netwerk, terwijl banden de relaties tussen de individuen vertegenwoordigen.

1. Simulatie

Modelleren van het gedrag van complexe systemen, vaak gebruikt voor prognoses, voorspellingen en scenarioplanning. Monte Carlo-simulaties zijn bijvoorbeeld een klasse van algoritmen die berusten op herhaalde willekeurige steekproeven, dwz het uitvoeren van duizenden simulaties, elk gebaseerd op verschillende aannames. Het resultaat is een histogram dat een kansverdeling van uitkomsten geeft. Eén toepassing is het beoordelen van de waarschijnlijkheid dat financiële doelstellingen worden gehaald, gegeven onzekerheden over het succes van verschillende initiatieven

1. Tijdreeksanalyse

Tijdreeksanalyse omvat methoden voor het analyseren van tijdreeksgegevens om zinvolle statistieken en andere kenmerken van de gegevens te extraheren. Tijdreeksgegevens ontstaan ​​vaak bij het bewaken van industriële processen of het volgen van bedrijfsstatistieken. Tijdreeksanalyse houdt rekening met het feit dat gegevenspunten die in de loop van de tijd zijn genomen een interne structuur kunnen hebben (zoals autocorrelatie, trend of seizoensvariatie) waarmee rekening moet worden gehouden. Voorbeelden van tijdreeksanalyse zijn de uurwaarde van een beursindex of het aantal patiënten dat dagelijks met een bepaalde aandoening wordt gediagnosticeerd.

1. Leren zonder toezicht

Niet-gesuperviseerd leren is de machinale leertaak van het afleiden van een functie om verborgen structuur te beschrijven uit niet-gelabelde gegevens. Aangezien de voorbeelden die aan de leerling worden gegeven geen label hebben, is er geen fout- of beloningssignaal om een ​​mogelijke oplossing te evalueren - dit onderscheidt niet-gesuperviseerd leren van leren onder toezicht en versterkend leren.

Niet-gesuperviseerd leren omvat echter ook vele andere technieken die de belangrijkste kenmerken van de gegevens proberen samen te vatten en uit te leggen.

1. visualisatie

Datavisualisatie is het voorbereiden van data in een picturaal of grafisch formaat. Het stelt besluitvormers in staat om analyses visueel gepresenteerd te zien, zodat ze moeilijke concepten kunnen begrijpen of nieuwe patronen kunnen identificeren. Met interactieve visualisatie kunt u het concept een stap verder brengen door technologie te gebruiken om diagrammen en grafieken te bekijken voor meer details, en interactief te veranderen welke gegevens u ziet en hoe deze worden verwerkt.

Conclusie

Big data-analyse is een van de belangrijkste doorbraken in de informatietechnologie-industrie. In feite heeft Big Data het belang en de behoefte ervan in bijna alle sectoren en in alle afdelingen van die industrieën aangetoond. Er is geen enkel aspect van het leven dat niet is beïnvloed door Big Data, zelfs niet ons persoonlijke leven. Daarom hebben we Big Data Analytics nodig om deze enorme hoeveelheden data efficiënt te beheren.

Zoals gezegd is deze lijst niet uitputtend. Onderzoekers experimenteren nog steeds met nieuwe manieren om deze enorme hoeveelheden gegevens te analyseren die in verschillende vormen aanwezig zijn en waarvan de generatiesnelheid met de tijd toeneemt om waarden voor ons specifieke gebruik af te leiden.