CentOS 7 पर स्टैंड-अलोन मोड में Hadoop कैसे स्थापित करें

• आवश्यक शर्तें
• चरण 1: सिस्टम को अपडेट करें
• चरण 2: जावा स्थापित करें
• चरण 3: Hadoop स्थापित करें
• चरण 4: Hadoop चलाएं और परीक्षण करें

Apache Hadoop एक खुला स्रोत बिग डेटा प्रोसेसिंग टूल है, जिसका व्यापक रूप से IT उद्योग में उपयोग किया जाता है।

आपके डेटा के आकार, प्रकार और पैमाने के आधार पर, आप स्टैंड-अलोन या क्लस्टर मोड में Hadoop को तैनात कर सकते हैं।

इस शुरुआती-केंद्रित ट्यूटोरियल में, हम Hadoop को CentOS 7 सर्वर उदाहरण पर स्टैंड-अलोन मोड में स्थापित करेंगे।

आवश्यक शर्तें

• एक नया बनाया गया Vultr CentOS 7 x64 सर्वर उदाहरण।
• एक sudo यूजर ।

चरण 1: सिस्टम को अपडेट करें

एक sudo उपयोगकर्ता के रूप में लॉग इन करें, और फिर CentOS 7 सिस्टम को नवीनतम स्थिर स्थिति में अपडेट करें:

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

सर्वर ऑनलाइन होने के बाद, वापस लॉग इन करें।

चरण 2: जावा स्थापित करें

Hadoop जावा-आधारित है और OpenJDK 8 नवीनतम स्थिर संस्करण के लिए अनुशंसित संस्करण है।

YUM का उपयोग करके OpenJDK 8 JRE स्थापित करें:

sudo yum install -y java-1.8.0-openjdk

OpenJDK 8 JRE की स्थापना को सत्यापित करें:

java -version

आउटपुट जैसा दिखना चाहिए:

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

चरण 3: Hadoop स्थापित करें

आप हमेशा आधिकारिक Apache Hadoop रिलीज़ पेज से Hadoop के नवीनतम संस्करण का डाउनलोड URL पा सकते हैं । इस लेख को लिखने के समय, Hadoop का नवीनतम स्थिर संस्करण 2.7.3 है।

Hadoop 2.7.3 का बाइनरी संग्रह डाउनलोड करें:

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

डाउनलोडिंग चेकसम फाइल डाउनलोड करें:

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

चेकसम टूल इंस्टॉल करें:

sudo yum install perl-Digest-SHA

Hadoop संग्रह के SHA256 मूल्य की गणना करें:

shasum -a 256 hadoop-2.7.3.tar.gz

फ़ाइल की सामग्री प्रदर्शित करें hadoop-2.7.3.tar.gz.mds, और सुनिश्चित करें कि दो SHA256 मूल्य समान हैं:

cat hadoop-2.7.3.tar.gz.mds

संग्रह को निर्दिष्ट स्थान पर अनज़िप करें:

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

इससे पहले कि आप Hadoop को ठीक से चला सकें, आपको इसके लिए Java होम स्थान निर्दिष्ट करना होगा।

या अपने पसंदीदा पाठ संपादक /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shका उपयोग कर Hadoop पर्यावरण कॉन्फिगर फ़ाइल खोलें vi:

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

लाइन खोजें:

export JAVA_HOME=$

इसे इसके साथ बदलें:

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

यह सेटिंग Hadoop को हमेशा जावा के डिफ़ॉल्ट इंस्टॉल स्थान का उपयोग करेगी।

सेव करके छोड़ो:

:wq!

आप PATHअपनी सुविधा के लिए Hadoop प्रोग्राम के पथ को पर्यावरण चर में जोड़ सकते हैं :

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

चरण 4: Hadoop चलाएं और परीक्षण करें

बस कमांड को निष्पादित करें hadoop, और आपको हडॉप कमांड और इसके विभिन्न मापदंडों के उपयोग के साथ संकेत दिया जाएगा।

यहां, आप अपने Hadoop स्थापना का परीक्षण करने के लिए एक अंतर्निहित उदाहरण का उपयोग कर सकते हैं।

डेटा स्रोत तैयार करें:

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

परिणाम प्राप्त करने के लिए grep के साथ Hadoop का उपयोग करें:

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

आउटपुट होना चाहिए:

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

अंत में, आप आउटपुट फ़ाइलों की सामग्री देख सकते हैं:

cat ~/output/*

परिणाम होना चाहिए:

6       principal
1       principal.

अब आप Hadoop का पता लगाने के लिए तैयार हैं।