Hadoop installeren in de stand-alone modus op CentOS 7

• Vereisten
• Stap 1: werk het systeem bij
• Stap 2: installeer Java
• Stap 3: Installeer Hadoop
• Stap 4: Voer Hadoop uit en test het

Apache Hadoop is een open source Big Data-verwerkingsprogramma, dat veel wordt gebruikt in de IT-industrie.

Afhankelijk van de grootte, het type en de schaal van uw gegevens, kunt u Hadoop in de zelfstandige modus of in de clustermodus implementeren.

In deze beginnersgerichte tutorial installeren we Hadoop in de zelfstandige modus op een CentOS 7-serverinstantie.

Vereisten

• Een nieuw gemaakte Vultr CentOS 7 x64 serverinstantie.
• Een sudo-gebruiker .

Stap 1: werk het systeem bij

Meld u aan als sudo-gebruiker en werk vervolgens het CentOS 7-systeem bij naar de laatste stabiele status:

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

Meld u opnieuw aan zodra de server online is.

Stap 2: installeer Java

Hadoop is gebaseerd op Java en OpenJDK 8 is de aanbevolen versie voor de nieuwste stabiele versie.

Installeer OpenJDK 8 JRE met YUM:

sudo yum install -y java-1.8.0-openjdk

Controleer de installatie van OpenJDK 8 JRE:

java -version

De uitvoer moet lijken op:

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

Stap 3: Installeer Hadoop

Je kunt de download-URL van de nieuwste versie van Hadoop altijd vinden op de officiële Apache Hadoop-releasepagina . Op het moment dat dit artikel wordt geschreven, is de nieuwste stabiele versie van Hadoop 2.7.3.

Download het binaire archief van Hadoop 2.7.3:

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

Download het bijpassende checksum-bestand:

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

Installeer de checksum tool:

sudo yum install perl-Digest-SHA

Bereken de SHA256-waarde van het Hadoop-archief:

shasum -a 256 hadoop-2.7.3.tar.gz

Geef de inhoud van het bestand weer hadoop-2.7.3.tar.gz.mdsen zorg ervoor dat de twee SHA256-waarden identiek zijn:

cat hadoop-2.7.3.tar.gz.mds

Pak het archief uit op een aangewezen locatie:

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

Voordat u Hadoop correct kunt uitvoeren, moet u de Java-thuislocatie ervoor opgeven.

Open het Hadoop-omgevingconfiguratiebestand /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shmet viof uw favoriete teksteditor:

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

Zoek de regel:

export JAVA_HOME=$

Vervang het door:

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

Deze instelling zorgt ervoor dat Hadoop altijd de standaard installatielocatie van Java gebruikt.

Opslaan en afsluiten:

:wq!

U kunt PATHvoor uw gemak het pad van het Hadoop-programma toevoegen aan de omgevingsvariabele:

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

Stap 4: Voer Hadoop uit en test het

Voer gewoon de opdracht uit hadoopen u wordt gevraagd om het gebruik van de hadoop-opdracht en de verschillende parameters ervan.

Hier kunt u een ingebouwd voorbeeld gebruiken om uw Hadoop-installatie te testen.

Bereid de gegevensbron voor:

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

Gebruik Hadoop samen met grep om het resultaat uit te voeren:

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

De uitvoer moet zijn:

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

Ten slotte kunt u de inhoud van de uitvoerbestanden bekijken:

cat ~/output/*

Het resultaat zou moeten zijn:

6       principal
1       principal.

Je bent nu klaar om Hadoop te verkennen.