نحوه نصب Hadoop در حالت مستقل در CentOS 7

• پیش نیازها
• مرحله 1: سیستم را به روز کنید
• مرحله 2: جاوا را نصب کنید
• مرحله 3: Hadoop را نصب کنید
• مرحله 4: Hadoop را اجرا و تست کنید

Apache Hadoop ابزاری بزرگ برای پردازش داده های بزرگ است که به طور گسترده در صنعت IT مورد استفاده قرار می گیرد.

بسته به اندازه ، نوع و مقیاس داده های خود ، می توانید Hadoop را در حالت مستقل یا خوشه ای مستقر کنید.

در این آموزش مبتنی بر مبتدی ، ما Hadoop را در حالت مستقل در نمونه سرور CentOS 7 نصب خواهیم کرد.

پیش نیازها

• به عنوان مثال سرور جدید Vultr CentOS 7 x64.
• کاربران از sudo .

مرحله 1: سیستم را به روز کنید

به عنوان یک کاربر سودو وارد شوید و سپس سیستم CentOS 7 را به آخرین وضعیت پایدار به روز کنید:

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

پس از آنلاین شدن سرور ، وارد سیستم شوید.

مرحله 2: جاوا را نصب کنید

Hadoop مبتنی بر جاوا است و OpenJDK 8 نسخه پیشنهادی برای آخرین نسخه پایدار است.

OpenJDK 8 JRE را با استفاده از YUM نصب کنید:

sudo yum install -y java-1.8.0-openjdk

تأیید نصب OpenJDK 8 JRE:

java -version

خروجی باید شبیه باشد:

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

مرحله 3: Hadoop را نصب کنید

همیشه می توانید URL بارگیری آخرین نسخه Hadoop را از صفحه رسمی انتشار Apache Hadoop پیدا کنید . در زمان نوشتن این مقاله ، آخرین نسخه پایدار Hadoop 2.7.3 است.

بایگانی باینری Hadoop 2.7.3 را بارگیری کنید:

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

فایل چک مربوطه را بارگیری کنید:

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

ابزار checksum را نصب کنید:

sudo yum install perl-Digest-SHA

مقدار SHA256 بایگانی Hadoop را محاسبه کنید:

shasum -a 256 hadoop-2.7.3.tar.gz

محتوای پرونده را نمایش دهید hadoop-2.7.3.tar.gz.mdsو مطمئن شوید که دو مقدار SHA256 یکسان هستند:

cat hadoop-2.7.3.tar.gz.mds

بایگانی را از یک مکان مشخص خارج کنید:

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

قبل از اجرای صحیح Hadoop ، باید مکان خانه جاوا را برای آن مشخص کنید.

/opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shبا استفاده از viویرایشگر متن مورد علاقه خود ، پرونده پیکربندی محیط Hadoop را باز کنید:

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

خط را پیدا کنید:

export JAVA_HOME=$

آن را جایگزین کنید با:

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

این تنظیم باعث می شود Hadoop همیشه از محل نصب پیش فرض جاوا استفاده کند.

ذخیره نموده و خارج شوید:

:wq!

PATHبرای راحتی خود می توانید مسیر برنامه Hadoop را به متغیر محیط اضافه کنید:

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

مرحله 4: Hadoop را اجرا و تست کنید

دستور را به سادگی اجرا کنید hadoopو با استفاده از دستور hadoop و پارامترهای مختلف آن از شما خواسته می شود.

در اینجا ، می توانید از یک نمونه داخلی برای آزمایش نصب Hadoop استفاده کنید.

منبع داده را آماده کنید:

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

برای نتیجه کار از Hadoop به همراه grep استفاده کنید:

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

خروجی باید:

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

در آخر ، می توانید محتوای پرونده های خروجی را مشاهده کنید:

cat ~/output/*

نتیجه باید باشد:

6       principal
1       principal.

اکنون آماده اکتشاف Hadoop هستید.