วิธีการติดตั้ง Hadoop ในโหมด Stand-Alone บน CentOS 7

• ข้อกำหนดเบื้องต้น
• ขั้นตอนที่ 1: อัปเดตระบบ
• ขั้นตอนที่ 2: ติดตั้ง Java
• ขั้นตอนที่ 3: ติดตั้ง Hadoop
• ขั้นตอนที่ 4: เรียกใช้และทดสอบ Hadoop

Apache Hadoop เป็นเครื่องมือประมวลผล Big Data แบบโอเพ่นซอร์สที่ใช้กันอย่างแพร่หลายในอุตสาหกรรมไอที

ขึ้นอยู่กับขนาดประเภทและขนาดของข้อมูลของคุณคุณสามารถปรับใช้ Hadoop ในโหมดสแตนด์อะโลนหรือโหมดคลัสเตอร์

ในบทช่วยสอนเบื้องต้นนี้เราจะติดตั้ง Hadoop ในโหมดสแตนด์อะโลนบนอินสแตนซ์ของเซิร์ฟเวอร์ CentOS 7

ข้อกำหนดเบื้องต้น

• อินสแตนซ์เซิร์ฟเวอร์ Vultr CentOS 7 x64 ที่สร้างขึ้นใหม่
• sudo ผู้ใช้

ขั้นตอนที่ 1: อัปเดตระบบ

ล็อกอินด้วยผู้ใช้ sudo จากนั้นอัพเดตระบบ CentOS 7 เป็นสถานะล่าสุดที่เสถียร:

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

เมื่อเซิร์ฟเวอร์ออนไลน์เข้าสู่ระบบอีกครั้ง

ขั้นตอนที่ 2: ติดตั้ง Java

Hadoop ใช้ Java และ OpenJDK 8 เป็นรุ่นที่แนะนำสำหรับเวอร์ชั่นเสถียรล่าสุด

ติดตั้ง OpenJDK 8 JRE โดยใช้ YUM:

sudo yum install -y java-1.8.0-openjdk

ตรวจสอบการติดตั้ง OpenJDK 8 JRE:

java -version

ผลลัพธ์ควรมีลักษณะดังนี้:

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

ขั้นตอนที่ 3: ติดตั้ง Hadoop

คุณสามารถหา URL ที่ดาวน์โหลดรุ่นล่าสุดของ Hadoop จากหน้าอย่างเป็นทางการเปิดตัว Apache Hadoop ในขณะที่เขียนบทความนี้ Hadoop รุ่นเสถียรล่าสุดคือ 2.7.3

ดาวน์โหลดไฟล์เก็บถาวรไบนารีของ Hadoop 2.7.3:

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

ดาวน์โหลดไฟล์ checksum ที่ตรงกัน:

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

ติดตั้งเครื่องมือตรวจสอบ:

sudo yum install perl-Digest-SHA

คำนวณค่า SHA256 ของไฟล์เก็บถาวร Hadoop:

shasum -a 256 hadoop-2.7.3.tar.gz

แสดงเนื้อหาของไฟล์hadoop-2.7.3.tar.gz.mdsและตรวจสอบให้แน่ใจว่าทั้งสองค่า SHA256 เหมือนกัน:

cat hadoop-2.7.3.tar.gz.mds

แตกไฟล์เก็บถาวรไปยังตำแหน่งที่กำหนด:

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

ก่อนที่คุณจะสามารถเรียกใช้ Hadoop ได้อย่างถูกต้องคุณต้องระบุตำแหน่งบ้าน Java

เปิดไฟล์กำหนดค่าสภาพแวดล้อม Hadoop /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shโดยใช้viหรือโปรแกรมแก้ไขข้อความที่คุณชื่นชอบ:

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

ค้นหาบรรทัด:

export JAVA_HOME=$

แทนที่ด้วย:

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

การตั้งค่านี้จะทำให้ Hadoop ใช้ตำแหน่งการติดตั้งเริ่มต้นของ Java เสมอ

บันทึกและออก:

:wq!

คุณสามารถเพิ่มเส้นทางของโปรแกรม Hadoop ให้กับPATHตัวแปรสภาพแวดล้อมเพื่อความสะดวกของคุณ:

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

ขั้นตอนที่ 4: เรียกใช้และทดสอบ Hadoop

เพียงดำเนินการคำสั่งhadoopและคุณจะได้รับแจ้งพร้อมการใช้คำสั่ง hadoop และพารามิเตอร์ต่างๆ

ที่นี่คุณสามารถใช้ตัวอย่างในตัวเพื่อทดสอบการติดตั้ง Hadoop ของคุณ

เตรียมแหล่งข้อมูล:

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

ใช้ Hadoop พร้อมกับ grep เพื่อแสดงผลลัพธ์:

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

ผลลัพธ์ควรเป็น:

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

สุดท้ายคุณสามารถดูเนื้อหาของไฟล์ที่ส่งออก:

cat ~/output/*

ผลลัพธ์ควรเป็น:

6       principal
1       principal.

ตอนนี้คุณพร้อมที่จะสำรวจ Hadoop แล้ว