Cara Memasang Hadoop dalam Mode Stand-Alone di CentOS 7

• Prasyarat
• Langkah 1: Perbarui sistem
• Langkah 2: Instal Java
• Langkah 3: Instal Hadoop
• Langkah 4: Jalankan dan uji Hadoop

Apache Hadoop adalah alat pengolah data Big open source, banyak digunakan dalam industri TI.

Bergantung pada ukuran, jenis, dan skala data Anda, Anda dapat menggunakan Hadoop dalam mode stand-alone atau cluster.

Dalam tutorial yang berfokus pada pemula ini, kita akan menginstal Hadoop dalam mode stand-alone pada instance server CentOS 7.

Prasyarat

• Contoh server Vultr CentOS 7 x64 yang baru dibuat.
• Seorang pengguna sudo .

Langkah 1: Perbarui sistem

Masuk sebagai pengguna sudo, dan perbarui sistem CentOS 7 ke status stabil terbaru:

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

Setelah server online, masuk kembali.

Langkah 2: Instal Java

Hadoop berbasis Java dan OpenJDK 8 adalah versi yang direkomendasikan untuk versi stabil terbaru.

Instal OpenJDK 8 JRE menggunakan YUM:

sudo yum install -y java-1.8.0-openjdk

Verifikasi pemasangan OpenJDK 8 JRE:

java -version

Outputnya harus menyerupai:

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

Langkah 3: Instal Hadoop

Anda selalu dapat menemukan URL unduhan versi terbaru dari Hadoop dari halaman rilis resmi Apache Hadoop . Pada saat menulis artikel ini, versi stabil terbaru dari Hadoop adalah 2.7.3.

Unduh arsip biner Hadoop 2.7.3:

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

Unduh file checksum yang cocok:

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

Instal alat checksum:

sudo yum install perl-Digest-SHA

Hitung nilai SHA256 dari arsip Hadoop:

shasum -a 256 hadoop-2.7.3.tar.gz

Tampilkan konten file hadoop-2.7.3.tar.gz.mds, dan pastikan kedua nilai SHA256 identik:

cat hadoop-2.7.3.tar.gz.mds

Buka zip arsip ke lokasi yang ditentukan:

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

Sebelum Anda dapat menjalankan Hadoop dengan benar, Anda harus menentukan lokasi rumah Java untuk itu.

Buka file konfigurasi lingkungan Hadoop /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shmenggunakan viatau editor teks favorit Anda:

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

Temukan garis:

export JAVA_HOME=$

Ganti dengan:

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

Pengaturan ini akan membuat Hadoop selalu menggunakan lokasi instal default Java.

Simpan dan keluar:

:wq!

Anda dapat menambahkan jalur program Hadoop ke PATHvariabel lingkungan untuk kenyamanan Anda:

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

Langkah 4: Jalankan dan uji Hadoop

Cukup jalankan perintah hadoop, dan Anda akan diminta dengan penggunaan perintah hadoop dan berbagai parameternya.

Di sini, Anda dapat menggunakan contoh bawaan untuk menguji instalasi Hadoop Anda.

Siapkan sumber data:

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

Gunakan Hadoop bersama dengan grep untuk menampilkan hasilnya:

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

Outputnya harus:

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

Akhirnya, Anda dapat melihat konten file output:

cat ~/output/*

Hasilnya harus:

6       principal
1       principal.

Anda sekarang siap untuk menjelajahi Hadoop.