Een inzicht in 26 Big Data-analysetechnieken: deel 1

' Big Data ' is de toepassing van gespecialiseerde technieken en technologieën om zeer grote datasets te verwerken. Deze datasets zijn vaak zo groot en complex dat ze moeilijk te verwerken zijn met behulp van beschikbare databasebeheertools.

De radicale groei van informatietechnologie heeft geleid tot verschillende complementaire voorwaarden in de industrie. Een van de meest hardnekkige en aantoonbaar meest actuele uitkomsten is de aanwezigheid van Big Data. De term Big Data is een slogan die is bedacht om de aanwezigheid van enorme hoeveelheden gegevens te beschrijven. Het resulterende effect van het hebben van zo'n enorme hoeveelheid gegevens is Data Analytics.

Data Analytics is het proces van het structureren van Big Data. Binnen Big Data zijn er verschillende patronen en correlaties die het voor data-analyse mogelijk maken om de data beter berekend te karakteriseren. Dit maakt data-analyse een van de belangrijkste onderdelen van informatietechnologie.

Daarom som ik hier de 26 big data-analysetechnieken op. Deze lijst is zeker niet uitputtend.

1. A/B-testen

A/B-testen is een beoordelingstool om te bepalen welke versie van een webpagina of app een organisatie of individu helpt om een ​​bedrijfsdoel effectiever te bereiken. Deze beslissing wordt genomen door te vergelijken welke versie van iets beter presteert. A/B-testen worden vaak gebruikt bij webontwikkeling om ervoor te zorgen dat wijzigingen aan een webpagina of paginacomponent worden aangedreven door gegevens en niet door persoonlijke mening.

Het wordt ook wel morstesten of emmertesten genoemd.

Zie ook:  Het grijze gebied van big data – Do's en don'ts

1. Leren van associatieregels

Een reeks technieken voor het ontdekken van interessante relaties, dwz 'associatieregels', tussen variabelen in grote databases. Deze technieken bestaan ​​uit verschillende algoritmen om mogelijke regels te genereren en te testen.

Een toepassing is marktmandanalyse, waarbij een retailer kan bepalen welke producten veel bij elkaar worden gekocht en deze informatie kan gebruiken voor marketing. (Een vaak genoemd voorbeeld is de ontdekking dat veel supermarktklanten die nacho's kopen ook bier kopen.)

1. Classificatieboomanalyse

Statistische classificatie is een methode om categorieën te identificeren waartoe een nieuwe waarneming behoort. Het vereist een trainingsset van correct geïdentificeerde observaties - historische gegevens met andere woorden.

Statistische classificatie wordt gebruikt om:

• Automatisch documenten toewijzen aan categorieën
• Categoriseer organismen in groepen
• Ontwikkel profielen van studenten die online cursussen volgen

1. Clusteranalyse

Een statistische methode voor het classificeren van objecten die een diverse groep opsplitst in kleinere groepen van vergelijkbare objecten, waarvan de kenmerken van overeenkomst niet van tevoren bekend zijn. Een voorbeeld van clusteranalyse is het segmenteren van consumenten in gelijkaardige groepen voor gerichte marketing. Gebruikt voor datamining.

1. Crowdsourcing

Bij crowdsourcing is de nuance dat een taak of een baan wordt uitbesteed, maar niet aan een aangewezen professional of organisatie, maar aan het grote publiek in de vorm van een open oproep. Crowdsourcing is een techniek die kan worden ingezet om gegevens te verzamelen uit verschillende bronnen, zoals sms-berichten, updates van sociale media, blogs, enz. Dit is een vorm van massale samenwerking en een voorbeeld van het gebruik van internet.

1. Gegevensfusie en gegevensintegratie

Een proces op meerdere niveaus dat zich bezighoudt met de associatie, correlatie, combinatie van gegevens en informatie uit enkele en meerdere bronnen om een ​​verfijnde positie te bereiken, schattingen te identificeren en volledige en tijdige beoordelingen van situaties, bedreigingen en hun significantie.

Gegevensfusietechnieken combineren gegevens van meerdere sensoren en gerelateerde informatie uit bijbehorende databases om betere nauwkeurigheid en meer specifieke gevolgtrekkingen te bereiken dan met het gebruik van een enkele sensor alleen.

Zie ook:  Een beginnershandleiding voor big data-analyse

1. Datamining

Datamining is het sorteren van gegevens om patronen te identificeren en relaties tot stand te brengen. Datamining is de verzamelnaam voor technieken voor het extraheren van gegevens die worden uitgevoerd op grote hoeveelheden gegevens. Dataminingparameters omvatten associatie, sequentieanalyse, classificatie, clustering en prognoses.

Toepassingen zijn onder meer het ontginnen van klantgegevens om te bepalen welke segmenten het meest waarschijnlijk reageren op een aanbieding, het ontginnen van personeelsgegevens om kenmerken van de meest succesvolle werknemers te identificeren of marktmandanalyse om het aankoopgedrag van klanten te modelleren.

1. Ensemble leren

Het is een kunst om verschillende leeralgoritmen te combineren om te improviseren over de stabiliteit en voorspellende kracht van het model. Dit is een vorm van begeleid leren.

1. Genetische algoritmes

Optimalisatietechnieken die gebruikmaken van processen zoals genetische combinatie, mutatie en natuurlijke selectie in een ontwerp gebaseerd op de concepten van natuurlijke evolutie. Genetische algoritmen zijn technieken die worden gebruikt om de meest bekeken video's, tv-programma's en andere vormen van media te identificeren. Er is een evolutionair patroon dat kan worden gedaan door het gebruik van genetische algoritmen. Video- en media-analyse kan worden gedaan door het gebruik van genetische algoritmen.

1. Machinaal leren

Machine Learning is een andere techniek die kan worden gebruikt om categorieën te maken en de waarschijnlijke uitkomst van een specifieke set gegevens te bepalen. Machine Learning definieert software die de mogelijke uitkomsten van een bepaalde reeks gebeurtenissen kan bepalen. Het wordt daarom gebruikt in voorspellende analyses. Een voorbeeld van predictive analytics is de kans op het winnen van rechtszaken of het succes van bepaalde producties.

1. Natuurlijke taalverwerking

Een reeks technieken uit een subspecialisatie van informatica (binnen een vakgebied dat historisch "kunstmatige intelligentie" wordt genoemd) en taalkunde die computeralgoritmen gebruikt om menselijke (natuurlijke) taal te analyseren. Veel NLP-technieken zijn vormen van machine learning. Een toepassing van NLP is het gebruik van sentimentanalyse op sociale media om te bepalen hoe potentiële klanten reageren op een merkcampagne.

1. Neurale netwerken

Niet-lineaire voorspellende modellen die leren door training en qua structuur lijken op biologische neurale netwerken. Ze kunnen worden gebruikt voor patroonherkenning en -optimalisatie. Sommige neurale netwerktoepassingen hebben betrekking op leren onder toezicht en andere op niet-gesuperviseerd leren. Voorbeelden van toepassingen zijn het identificeren van hoogwaardige klanten die het risico lopen een bepaald bedrijf te verlaten en het identificeren van frauduleuze verzekeringsclaims.

Lees ook:  40 verbijsterende feiten over big data

1. Optimalisatie

Een portfolio van numerieke technieken die worden gebruikt om complexe systemen en processen opnieuw te ontwerpen om hun prestaties te verbeteren volgens een of meer objectieve maatstaven (bijvoorbeeld kosten, snelheid of betrouwbaarheid). Voorbeelden van toepassingen zijn het verbeteren van operationele processen zoals planning, routing en vloerindeling, en het nemen van strategische beslissingen zoals productassortimentstrategie, gekoppelde investeringsanalyse en R&D-portfoliostrategie. Genetische algoritmen zijn een voorbeeld van een optimalisatietechniek.

In mijn volgende blog zou ik de overige 13 Big Data Analytics-technieken beschrijven.

Lees: Volgende deel van een inzicht in 26 analysetechnieken voor big data