常见的Hadoop部署模式分为单机模式和集群模式,也称为伪分布式模式和分布式模式。 单机模式(伪分布式)模式是在一个节点上部署所有的Hadoop服务。在使用上,单机模式(伪分布式)模式跟集群模式(分布式模式)是一样的。
作为入门测试环境搭建,我们先尝试hadoop单机版部署。
安装JDK
JDK下载地址:官方下载地址
- 将下载好的jdk压缩包传到服务器上:
1 | scp jdk-8u211-linux-x64.tar.gz devops@192.168.1.106:/home/devops/ |
解压jdk压缩包,移动到安排目录即可
1
2tar zxvf jdk-8u211-linux-x64.tar.gz
sudo cp -r jdk1.8.0_211 /usr/local/jdk设置环境变量
1
2
3
4
5sudo vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH测试
java -version
1
2
3
4gitlib@devops:~$ java -version
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)
创建Hadoop账号
避免采用root账号操作hadoop,引起安全问题。
输入命令:
1 | sudo useradd -r hadoop |
查看hadoop账户:
1 | gitlib@devops:~$ id hadoop |
可以看到hadoop账号已经创建,并且加到hadoop组。
创建hadoop文件目录
一共创建4个文件目录:
- hadoop临时文件目录
1 | mkdir -p /home/hadoop/tmp |
- hadoop主节点(namenode)文件目录
1 | mkdir -p /home/hadoop/hdfs/name |
- hadoop数据节点(datanode)文件目录
1 | mkdir -p /home/hadoop/hdfs/data |
- hadoop日志文件目录
1 | mkdir -p /home/hadoop/log |
- 设置hadoop文件目录所有者
1 | sudo chown -R hadoop /home/hadoop |
下载hadoop
hadoop下载地址:官方下载地址
最新版为3.1.2版:
1 | wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz |
下载完成之后,解压安装包即可使用
1 | tar zxvf hadoop-3.1.2.tar.gz |
将安装目录所有者修改为hadoop:
1 | sudo chown -R hadoop /usr/local/hadoop |
配置hadoop
hadoop的配置文件都在 etc/hadoop 目录下。
配置文件有很多,最基本要修改3个文件:hadoop-env.sh ,core-site.xml,hdfs-site.xml。
hadoop-env.sh:
修改JAVA_HOME环境变量为JDK的安装路径。
1 | # Technically, the only required environment variable is JAVA_HOME. |
core-site.xml:
1 | <configuration> |
设置hdfs的监听端口(一般配置为9000,我改为了9001,因为和php-fpm的默认端口冲突)和hadoop临时文件目录。
hdfs-site.xml:
1 | <configuration> |
设置hdfs的namenode、datanode数据存放路径以及数据块复制备份数量,默认是3,但是因为我们是单机部署,修改为1。
设置SSH免密访问本地
需要用前面创建的hadoop用户通过ssh免密访问本地,先切换到hadoop用户目录下,执行以下命令:
1 | zhoufei@devops:~$ su hadoop |
初始化
1 | bin/hdfs namenode -format |
启动hadoop
hadoop提供了一键启动所有组件的脚本,输入命令:
1 | /usr/local/hadoop/sbin/start-all.sh |
输入jps:
1 | hadoop@devops:~$ jps |
可以看到namenode、secondarynamenode、datanode、nodemanager、resourcemanager这三个服务已经启动。
输入命令 bin/hadoop fs -ls /
,没有报错,则hadoop单机版安装成功。