Comment installer Hadoop en mode autonome sur CentOS 7

• Conditions préalables
• Étape 1: mettre à jour le système
• Étape 2: installer Java
• Étape 3: installer Hadoop
• Étape 4: exécuter et tester Hadoop

Apache Hadoop est un outil open source de traitement de Big Data, largement utilisé dans l'industrie informatique.

Selon la taille, le type et l'échelle de vos données, vous pouvez déployer Hadoop en mode autonome ou en cluster.

Dans ce didacticiel destiné aux débutants, nous allons installer Hadoop en mode autonome sur une instance de serveur CentOS 7.

Conditions préalables

• Une instance de serveur Vultr CentOS 7 x64 nouvellement créée.
• Un utilisateur sudo .

Étape 1: mettre à jour le système

Connectez-vous en tant qu'utilisateur sudo, puis mettez à jour le système CentOS 7 vers le dernier état stable:

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

Une fois le serveur en ligne, reconnectez-vous.

Étape 2: installer Java

Hadoop est basé sur Java et OpenJDK 8 est la version recommandée pour la dernière version stable.

Installez OpenJDK 8 JRE à l'aide de YUM:

sudo yum install -y java-1.8.0-openjdk

Vérifiez l'installation d'OpenJDK 8 JRE:

java -version

La sortie doit ressembler à:

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

Étape 3: installer Hadoop

Vous pouvez toujours trouver l'URL de téléchargement de la dernière version de Hadoop sur la page de publication officielle d'Apache Hadoop . Au moment de la rédaction de cet article, la dernière version stable de Hadoop est la 2.7.3.

Téléchargez l'archive binaire de Hadoop 2.7.3:

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

Téléchargez le fichier de somme de contrôle correspondant:

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

Installez l'outil de somme de contrôle:

sudo yum install perl-Digest-SHA

Calculez la valeur SHA256 de l'archive Hadoop:

shasum -a 256 hadoop-2.7.3.tar.gz

Affichez le contenu du fichier hadoop-2.7.3.tar.gz.mdset assurez-vous que les deux valeurs SHA256 sont identiques:

cat hadoop-2.7.3.tar.gz.mds

Décompressez l'archive à un emplacement désigné:

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

Avant de pouvoir exécuter Hadoop correctement, vous devez spécifier son emplacement d'origine Java.

Ouvrez le fichier de configuration de l'environnement Hadoop à l' /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shaide de viou de votre éditeur de texte préféré:

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

Trouvez la ligne:

export JAVA_HOME=$

Remplacez-le par:

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

Ce paramètre fera que Hadoop utilisera toujours l'emplacement d'installation par défaut de Java.

Sauvegarder et quitter:

:wq!

Vous pouvez ajouter le chemin du programme Hadoop à la PATHvariable d'environnement pour votre commodité:

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

Étape 4: exécuter et tester Hadoop

Exécutez simplement la commande hadoopet vous serez invité à utiliser la commande hadoop et ses différents paramètres.

Ici, vous pouvez utiliser un exemple intégré pour tester votre installation Hadoop.

Préparez la source de données:

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

Utilisez Hadoop avec grep pour afficher le résultat:

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

La sortie doit être:

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

Enfin, vous pouvez visualiser le contenu des fichiers de sortie:

cat ~/output/*

Le résultat devrait être:

6       principal
1       principal.

Vous êtes maintenant prêt à explorer Hadoop.