CentOS 7 Üzerinde Hadoopu Bağımsız Modda Yükleme

• Ön şartlar
• 1. Adım: Sistemi güncelleyin
• Adım 2: Java'yı yükleyin
• 3. Adım: Hadoop'u yükleyin
• 4. Adım: Hadoop'u çalıştırın ve test edin

Apache Hadoop, BT endüstrisinde yaygın olarak kullanılan açık kaynaklı bir Büyük Veri işleme aracıdır.

Verilerinizin boyutuna, türüne ve ölçeğine bağlı olarak, Hadoop'u tek başına veya küme modunda dağıtabilirsiniz.

Bu başlangıç ​​odaklı öğreticide, Hadoop'u bir CentOS 7 sunucu örneğine tek başına modda kuracağız.

Ön şartlar

• Yeni oluşturulan Vultr CentOS 7 x64 sunucu örneği.
• Bir sudo kullanıcısı .

1. Adım: Sistemi güncelleyin

Bir sudo kullanıcısı olarak oturum açın ve ardından CentOS 7 sistemini en son kararlı duruma güncelleyin:

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

Sunucu çevrimiçi olduktan sonra tekrar oturum açın.

Adım 2: Java'yı yükleyin

Hadoop Java tabanlıdır ve OpenJDK 8 en son kararlı sürüm için önerilen sürümdür.

YUM kullanarak OpenJDK 8 JRE yazılımını kurun:

sudo yum install -y java-1.8.0-openjdk

OpenJDK 8 JRE kurulumunu doğrulayın:

java -version

Çıktı benzemelidir:

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

3. Adım: Hadoop'u yükleyin

Hadoop'un en son sürümünün indirme URL'sini her zaman resmi Apache Hadoop sürüm sayfasından bulabilirsiniz . Bu makaleyi yazarken, Hadoop'un en son kararlı sürümü 2.7.3'tür.

Hadoop 2.7.3 ikili arşivini indirin:

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

Eşleşen sağlama toplamı dosyasını indirin:

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

Sağlama toplamı aracını yükleyin:

sudo yum install perl-Digest-SHA

Hadoop arşivinin SHA256 değerini hesaplayın:

shasum -a 256 hadoop-2.7.3.tar.gz

Dosyanın içeriğini görüntüleyin ve hadoop-2.7.3.tar.gz.mdsiki SHA256 değerinin aynı olduğundan emin olun:

cat hadoop-2.7.3.tar.gz.mds

Arşivi belirlenen bir konuma çıkartın:

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

Hadoop'u düzgün bir şekilde çalıştırmadan önce bunun için Java ev konumunu belirtmeniz gerekir.

Hadoop ortam yapılandırma dosyasını veya en sevdiğiniz metin düzenleyicisini /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shkullanarak viaçın:

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

Hattı bulun:

export JAVA_HOME=$

Şununla değiştir:

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

Bu ayar, Hadoop'un daima Java'nın varsayılan kurulum konumunu kullanmasını sağlar.

Kaydet ve çık:

:wq!

Size kolaylık sağlamak için Hadoop programının yolunu PATHortam değişkenine ekleyebilirsiniz :

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

4. Adım: Hadoop'u çalıştırın ve test edin

Sadece komutu çalıştırın ve hadoophadoop komutunun ve çeşitli parametrelerinin kullanımı istenir.

Burada, Hadoop kurulumunuzu test etmek için yerleşik bir örnek kullanabilirsiniz.

Veri kaynağını hazırlayın:

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

Sonucu çıkarmak için grep ile birlikte Hadoop'u kullanın:

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

Çıktı şöyle olmalıdır:

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

Son olarak, çıktı dosyalarının içeriğini görüntüleyebilirsiniz:

cat ~/output/*

Sonuç şöyle olmalıdır:

6       principal
1       principal.

Artık Hadoop'u keşfetmeye hazırsınız.