20、Hadoop:YARN 日志聚合与监控边界

修复错误属性拼接与配置格式,区分日志聚合、即时日志和性能监控。

简明结论

不一定。`yarn.log-aggregation-enable` 是日志聚合开关,实际位置、上传时机、保留策略、权限与应用状态仍影响可读结果。历史文本把它拼成 `Logyarn...`,已改为独立的配置项。

打开日志聚合就能立即查到全部日志吗?

不一定。yarn.log-aggregation-enable 是日志聚合开关,实际位置、上传时机、保留策略、权限与应用状态仍影响可读结果。历史文本把它拼成 Logyarn...,已改为独立的配置项。

配置片段与读取方式

在目标版本的 yarn-site.xml 中,结构应为(只是片段,不是完整集群配置):

<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

修改前先核对当前配置与生效范围,依集群变更流程应用。对一个真实、自己有权限的 application ID 可查询:

yarn logs -applicationId application_1234567890000_0001

ID 只是格式示例,必须替换。预期返回可用的容器日志或具体状态错误;本轮未执行,不宣称已经聚合成功。失败时检查 application 状态、NodeManager 日志、聚合目录与访问权限,不能把所有失败都解释为日志不存在。

日志不等于监控

应用错误日志、节点资源、调度等待、HDFS 健康和服务可用性需要分别观察。历史提到的 Ganglia、Nagios、Ambari 只是工具名称,不是已验证的现行运维方案,不据此推荐安装版本。

继续:YARN Container 的职责。

整理范围与出处

本次依据下方版本资料整理说明与示例;历史导入资料的来源状态单独列示,不将技术参考认作原作者信息。原始发布日期与地址保留。