كيفية تثبيت Hadoop في الوضع المستقل على CentOS 7

• المتطلبات الأساسية
• الخطوة 1: تحديث النظام
• الخطوة 2: تثبيت Java
• الخطوة 3: تثبيت Hadoop
• الخطوة 4: تشغيل واختبار Hadoop

Apache Hadoop هي أداة مفتوحة المصدر لمعالجة البيانات الضخمة ، وتستخدم على نطاق واسع في صناعة تكنولوجيا المعلومات.

اعتمادًا على حجم البيانات ونوعها وحجمها ، يمكنك نشر Hadoop في الوضع المستقل أو وضع المجموعة.

في هذا البرنامج التعليمي الذي يركز على المبتدئين ، سنقوم بتثبيت Hadoop في الوضع المستقل على مثيل خادم CentOS 7.

المتطلبات الأساسية

• نسخة خادم Vultr CentOS 7 x64 تم إنشاؤها حديثًا.
• A المستخدم سودو .

الخطوة 1: تحديث النظام

قم بتسجيل الدخول كمستخدم sudo ، ثم قم بتحديث نظام CentOS 7 إلى أحدث حالة مستقرة:

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

بمجرد اتصال الخادم بالإنترنت ، قم بتسجيل الدخول مرة أخرى.

الخطوة 2: تثبيت Java

Hadoop مبني على Java و OpenJDK 8 هو الإصدار الموصى به لأحدث إصدار ثابت.

قم بتثبيت OpenJDK 8 JRE باستخدام YUM:

sudo yum install -y java-1.8.0-openjdk

تحقق من تثبيت OpenJDK 8 JRE:

java -version

يجب أن يشبه الإخراج:

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

الخطوة 3: تثبيت Hadoop

يمكنك دائمًا العثور على عنوان URL للتنزيل لأحدث إصدار من Hadoop من صفحة إصدار Apache Hadoop الرسمية . في وقت كتابة هذا المقال ، أحدث إصدار ثابت من Hadoop هو 2.7.3.

قم بتنزيل أرشيف ثنائي Hadoop 2.7.3:

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

تنزيل ملف المجموع الاختباري المطابق:

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

تثبيت أداة المجموع الاختباري:

sudo yum install perl-Digest-SHA

احسب قيمة SHA256 لأرشيف Hadoop:

shasum -a 256 hadoop-2.7.3.tar.gz

اعرض محتوى الملف hadoop-2.7.3.tar.gz.mdsوتأكد من تطابق قيمتي SHA256:

cat hadoop-2.7.3.tar.gz.mds

قم بفك ضغط الأرشيف إلى موقع محدد:

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

قبل أن تتمكن من تشغيل Hadoop بشكل صحيح ، تحتاج إلى تحديد موقع Java المنزل لذلك.

افتح ملف تهيئة بيئة Hadoop /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shباستخدام viأو محرر النصوص المفضل لديك:

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

ابحث عن الخط:

export JAVA_HOME=$

استبدلها بـ:

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

سيجعل هذا الإعداد Hadoop يستخدم دائمًا موقع التثبيت الافتراضي لـ Java.

احفظ واخرج:

:wq!

يمكنك إضافة مسار برنامج Hadoop إلى PATHمتغير البيئة لراحتك:

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

الخطوة 4: تشغيل واختبار Hadoop

ما عليك سوى تنفيذ الأمر hadoop، وستتم مطالبتك باستخدام الأمر hadoop ومعلماته المختلفة.

هنا ، يمكنك استخدام مثال مضمن لاختبار تثبيت Hadoop.

تحضير مصدر البيانات:

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

استخدم Hadoop مع grep لإخراج النتيجة:

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

يجب أن يكون الإخراج:

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

أخيرًا ، يمكنك عرض محتوى ملفات الإخراج:

cat ~/output/*

يجب أن تكون النتيجة:

6       principal
1       principal.

أنت الآن جاهز لاستكشاف Hadoop.