Hadoop(一、环境搭建)

1、环境准备

1.1、centOS7：内核版本
3.10.0-1160.49.1.el7.x86_64

1.2、关闭防火墙：systemctl disable firewalld

1.3、三台机器地址：192.168.137.129、192.168.137.130、192.168.137.131

1.4、三台机器的hostname：cat /etc/hostname

localhost.localdomain1

localhost.localdomain2

localhost.localdomain2

1.5、配置hosts：vim /etc/hosts，添加如下内容

192.168.137.129 hp1 localhost.localdomain1

192.168.137.130 hp2 localhost.localdomain2

192.168.137.131 hp3 localhost.localdomain3

1.6、新建目录：

mkdir -p /export/server/

mkdir -p /export/data/

mkdir -p /export/software/

1.7、配置jdk环境：

通过yum安装的jdk

vim /etc/profile添加如下内容：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-1.el7_9.x86_64/jre

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

若配置java环境报此错误：Similar command is: 'lz'，执行以下命令：

export PATH=/bin:/usr/bin:$PATH

2、hadoop配置

2.1、hadoop下载地址：
https://archive.apache.org/dist/hadoop/common/

本篇下载的hadoop3.2.0版本

2.2、本地hadoop-3.2.0.tar.gz上传到1.6新建的server目录中，并解压:

scp -r hadoop-3.2.0.tar.gz root@192.168.137.129:/export/server

tar -xvzf hadoop-3.2.0.tar.gz

2.3、配置hadoop

配置hadoop需要进入如下目录：
/export/server/hadoop-3.2.0/etc/hadoop

2.3.1、配置hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-1.el7_9.x86_64/jre

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

2.3.2、配置core-site.xml

fs.defaultFS

hdfs://hp1:8020`

hadoop.tmp.dir

/export/data/hadoop-3.2.0

hadoop.http.staticuser.user

root

hadoop.proxyuser.root.hosts

*

hadoop.proxyuser.root.groups

*

fs.trash.interval

1440

2.3.3、配置hdfs-site.xml

dfs.namenode.secondary.http-address

hp2:9868

2.3.4、配置mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

hp1:10020

mapreduce.jobhistory.webapp.address

hp1:19888

yarn.app.mapreduce.am.env

HADOOP_MAPRED_HOME=${HADOOP_HOME}

yarn.app.mapreduce.env

HADOOP_MAPRED_HOME=${HADOOP_HOME}

2.3.5、配置yarn-site.xml

yarn.resourcemanager.hostname

hp1

yarn.resourcemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.pmem-check-enabled

false

yarn.nodemanager.vmem-check-enabled

false

yarn.log-aggregation-enabled

true

yarn.log.server.url

http://hp1:19888/jobhistory/logs

yarn.log-aggregation.retain-seconds

604800

2.3.6、配置workers

localhost.localdomain1

localhost.localdomain2

localhost.localdomain3

2.4、配置hadoop环境变量：vim /etc/prifile

export HADOOP_HOME=/export/server/hadoop-3.2.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.5、免密登录设置

在192.168.137.129虚拟机上执行如下命令：

ssh-keygen -t rsa

ll -a

cd .ssh

ssh-copy-id -i id_rsa.pub root@192.168.137.129

ssh-copy-id -i id_rsa.pub root@192.168.137.130

ssh-copy-id -i id_rsa.pub root@192.168.137.131

2.6、进行格式化操作（NameNode format）

hdfs namenode -format

2.7、启动

start-dfs.sh

start-yarn.sh

2.8、停止

stop-all.sh

3、说明

三台虚拟机上都要进行【2、hadoop配置】配置

4、测试集群环境

4.1、查看hdfs：

http://192.168.137.129:9870

4.2、查看yarn

http://192.168.137.129:8088

5、报错处理

5.1、ping 192.168.137.129正常，浏览器访问
http://192.168.137.129:9870报错，就在hdfs-site.xml中配置如下：

dfs.namenode.http-address

192.168.137.129:9870

5.2、执行了多次hdfs namenode -forma命令，浏览器访问
http://192.168.137.129:9870出现Live Nodes为0的情况，如下图：

解决方法：将/export/data目录删除，再新建data目录。进入export目录（cd /export），删除data（rm -rf data），新建data（mkdir data）。所有虚拟机都要这么做。修改之前上图中的指标全部为0，修改之后就会与上图一样。