Linux系统部署hadoop集群超详细版
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，一个能够对大量数据进行分布式处理的软件框架； Hadoop以一种可靠、高效、可伸缩的方式进行数据处理；用户可以在不了解分布式底层细节的情况下，开发分布式程序。
Linux系统：centos 7.4
JDL:jdk 1.8
Hadoop：Hadoop2.7.7
虚拟机：VMware Workstation 12 pro
本机系统： Windows 10
Master主机：192.2168.1.180
S1主机：192.168.1.181
S2主机：192.168.1.182
安装前准备工作：
1.更新YUM源
#yum -y update
2.关闭防火墙
#systemctl disable firewalld
3.关闭安全内核
#vim /etc/selinux/config
SELINUX=disabled
4.修改主机名
#hostnamectl set-hostname master
vim /etc/hosts
192.168.1.180 master
192.168.1.181 s1
192.168.1.182 s2
5.安装时间同步器
本次同步上海时区的时间
下载时间同步模块yum -y install ntpdate
连接远程服务器 ntpdate -u time1.aliyun.com
修改文件 ntpdate -u ntp.api.bz
查看系统时间 hwclock --show
查看硬件时间 hwclock -w
永久保存 date
6.制作免密码登陆
分别在3台主机中执行
输入ssh-keygen -t rsa，然后确认回车
（1）在master主机中输入
ssh-copy-id master ssh-copy-id s1 ssh-copy-id s2
（2）在s1主机中输入
#ssh-copy-id master ssh-copy-id s2
（3）在s2主机中输入
#ssh-copy-id master ssh-copy-id s1
（4）测试ssh登录
一、安装JDK 1.8
1.官网下载
jdk-8u101-linux-x64.tar.gz
2.上传到服务器tools目录及解压
#mkdir /usr/local/java 创建路径
#tar -zxvf jdk-8u101-linux-x64.tar.gz -C /usr/local/java
3.修改环境变量（重要，仔细仔细仔细）
#vim /etc/profile
添加如下内容：
export JAVA_HOME=/usr/local/java/jdk1.8.0_101
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#source /etc/profile 立刻刷新
4.测试验证
二、安装Hadoop及配置文件修改
1.官网下载
https://hadoop.apache.org/
2.上传解压
#tar zxvf hadoop-2.7.7.tar.gz -C /usr/local
3.配置文件修改（/usr/local/hadoop-2.7.7/etc/hadoop）
（1）修改hadoop-env.sh
（2）修改yarn-env.sh
（3）修改core-site.xml
（4）配置文件系统hdfs-site.xml
（5）配置计算框架mapred-site.xml
（6）配置文件系统yarn-site.xml
（7）修改slave
（8）将master上hadoop目录分发到s1/s2上
将 master 上的 hadoop-2.7.7文件夹复制到s1，s2上。
依次运行以下命令：
scp -r /usr/local/hadoop-2.7.7 root@s1:/usr/local/
scp -r /usr/local/hadoop-2.7.7 root@s2:/usr/local/
检查s1/s2是否拷贝过去
4.配置环境变量
vim /root/.bash_profile
PATH=$PATH:$HOME/bin
export JAVA_HOME=/usr/local/java/jdk1.8.0_101
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop-2.7.7
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:
然后执行命令 source /root/.bash_profile 使配置生效
重复上述操作将s1，s2虚拟机的环境变量也配置成这样。
5.格式化系统
该命令只能在master上执行，且只能执行一次，不可多次执行。
hdfs namenode -format
三、启动Hadoop集群
1.在master上启动
#start-all.sh
根据提示信息，输入yes
2.测试访问，查看端口启动情况
192.168.1.180:50070
备注：点开livenodes查看现在是否有3台节点同时在线，如果不是3台，则说明配置有问题，需要重新排错，按照教程前面内容仔细检查，如果显示是3台主机在线，则表明配置成功。
3.执行jps命令查看master/s1/s2进程
完成时间：2022年8月17日，本地安装验证OK
原创声明：本文章是本人在今日头条的原创内容，如需转载请注明来源和原作者。
大家如果在头条号有电脑日常问题，可以在下方评论，看到后会第一时间回复大家。
作者： IT小乙班
关注【IT小乙班】头条号，每天收获最实战的电脑技能干货。
如果你喜欢我的文章，不妨点赞、转发、收藏一下哦！