如何在CentOS 7上以独立模式安装Hadoop

• 先决条件
• 步骤1：更新系统
• 步骤2：安装Java
• 步骤3：安装Hadoop
• 步骤4：运行和测试Hadoop

Apache Hadoop是一个开源的大数据处理工具，在IT行业中广泛使用。

根据数据的大小，类型和规模，您可以以独立或集群模式部署Hadoop。

在这个针对初学者的教程中，我们将以独立模式在CentOS 7服务器实例上安装Hadoop。

先决条件

• 新创建的Vultr CentOS 7 x64服​​务器实例。
• 一个sudo的用户。

步骤1：更新系统

以sudo用户身份登录，然后将CentOS 7系统更新为最新的稳定状态：

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

服务器联机后，重新登录。

步骤2：安装Java

Hadoop是基于Java的，并且OpenJDK 8是最新稳定版本的推荐版本。

使用YUM安装OpenJDK 8 JRE：

sudo yum install -y java-1.8.0-openjdk

验证OpenJDK 8 JRE的安装：

java -version

输出应类似于：

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

步骤3：安装Hadoop

您始终可以从Apache Hadoop官方发布页面上找到最新版本Hadoop的下载URL 。在撰写本文时，Hadoop的最新稳定版本是2.7.3。

下载Hadoop 2.7.3的二进制归档文件：

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

下载匹配的校验和文件：

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

安装校验和工具：

sudo yum install perl-Digest-SHA

计算Hadoop归档文件的SHA256值：

shasum -a 256 hadoop-2.7.3.tar.gz

显示文件的内容hadoop-2.7.3.tar.gz.mds，并确保两个SHA256值相同：

cat hadoop-2.7.3.tar.gz.mds

将档案解压缩到指定位置：

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

在正确运行Hadoop之前，您需要为其指定Java主目录位置。

/opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh使用vi或您喜欢的文本编辑器打开Hadoop环境配置文件：

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

找到这行：

export JAVA_HOME=$

替换为：

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

此设置将使Hadoop始终使用Java的默认安装位置。

保存并退出：

:wq!

PATH为了方便起见，可以将Hadoop程序的路径添加到环境变量中：

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

步骤4：运行和测试Hadoop

只需执行命令hadoop，就会提示您hadoop命令及其各种参数的用法。

在这里，您可以使用内置示例来测试Hadoop安装。

准备数据源：

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

结合使用Hadoop和grep来输出结果：

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

输出应为：

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

最后，您可以查看输出文件的内容：

cat ~/output/*

结果应为：

6       principal
1       principal.

现在您已经准备好探索Hadoop。