【笔记】Hadoop 配置日志的聚集

发表于 更新于 阅读次数：

前言

Hadoop配置日志的聚集

配置 mapred-site.xml

  • 配置历史服务器

编辑配置文件

1
vim /usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop/mapred-site.xml

添加内容

<ip_address>：作为历史服务器的计算机在网络中的ip地址或网络名称

1
2
3
4
5
6
7
8
9
10
11
<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value><ip_address>:10020</value>
</property>

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value><ip_address>:19888</value>
</property>

配置 yarn-site.xml

  • 配置日志的聚集

编辑配置文件

1
vim /usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop/yarn-site.xml

添加内容

1
2
3
4
5
6
7
8
9
10
11
<!-- 日志聚集功能使能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

启动

重新启动集群

1
2
/usr/local/Cellar/hadoop/3.2.1/sbin/start-dfs.sh
/usr/local/Cellar/hadoop/3.2.1/sbin/start-yarn.sh

启动历史服务器

  • 在配置完日志聚集的计算机启动历史服务器
1
/usr/local/Cellar/hadoop/3.2.1/sbin/mr-jobhistory-daemon.sh start historyserver

确认

查看所有计算机上程序运行情况

1
2
3
ssh hadoop102 "jps"
ssh hadoop103 "jps"
ssh hadoop104 "jps"

完成

参考文献

哔哩哔哩——zhvsvd