前言
Hadoop
分布式模式,至少6台计算机(学习阶段使用3台)
MacOS环境下Hadoop3学习笔记
集群部署规则
标准阶段规则
hadoop102 |
hadoop103 |
hadoop104 |
hadoop105 |
hadoop106 |
hadoop107 |
NameNode |
SecondaryNameNode |
DataNode & NameManageer |
DataNode & NameManager |
DataNode & NameManager |
ResourceManager |
主从关系
HDFS 集群
hadoop102
hadoop103
、hadoop104
、hadoop105
、hadoop106
YARN 集群
hadoop107
hadoop104
、hadoop105
、hadoop106
学习阶段规则
hadoop102 |
hadoop103 |
hadoop104 |
NameNode |
ResourceManager |
SecondaryNameNode |
DataNode & NameManager |
DataNode & NameManager |
DataNode & NameManager |
主从关系
HDFS 集群
hadoop102
hadoop102
、hadoop103
、hadoop104
YARN 集群
hadoop103
hadoop102
、hadooop103
、hadoop104
集群配置
env
- 配置
hadoop-env.sh
、mapred-env.sh
、yarn-env.sh
的JAVA_HOME
site
<ip_address>
:计算机在网络中的ip地址或网络名称
core-site.xml
1 2 3 4
| <property> <name>fs.defaultFS</name> <value>hdfs://<ip_address>:9000</value> </property>
|
注意:使用fs.default.name
还是使用fs.defaultFS
,要首先判断是否开启了NameNode
的HighAvaliable
,如果开启了NameNode
的HighAvaliable
,那么就用fs.defaultFS
,在单一NameNode
的情况下,就用fs.default.name
。
1 2 3 4
| <property> <name>hadoop.tmp.dir</name> <value>~/.hadoop/data/tmp</value> </property>
|
hdfs-site.xml
1 2 3 4
| <property> <name>dfs.replication</name> <value>3</value> </property>
|
1 2 3 4
| <property> <name>dfs.namenode.secondary.http-address</name> <value><ip_address>:50090</value> </property>
|
mapred-site.xml
1 2 3 4
| <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
|
yarn-site.xml
1 2 3 4
| <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
|
1 2 3 4
| <property> <name>yarn.resourcemanager.hostname</name> <value><ip_address></value> </property>
|
集群启动
格式化
- 首次启动格式化,在配置了
NameNode
的计算机(hadoop102
)上格式化
启动
- 在
hadoop102
上启动NameNode
、DataNode
1 2
| hadoop-daemon.sh start namenode hadoop-daemon.sh start datanode
|
1
| hadoop-daemon.sh start datanode
|
- 在
hadoop104
上启动DataNode
、SecondaryNameNode
1 2
| hadoop-daemon.sh start datanode hadoop-daemon.sh start secondarynamenode
|
确认
在各个计算机上查看程序运行情况
在浏览器上查看计算机运行情况
如果在Datanodes
页面找到其他设备,则配置成功
完成
参考文献
哔哩哔哩——zhvsvd
CSDN——lepton126