10、Hadoop:YARN Container 的资源含义

修复乱码,区分 YARN 资源分配单元与 Docker 容器,说明 ApplicationMaster 与 NodeManager 的职责。

简明结论

不是同一个概念。YARN Container 表示被调度的资源分配及执行上下文;是否使用 LinuxContainerExecutor、Docker 等执行方式取决于部署。看到 Container 一词不能推断已经具有 Docker 的镜像和命名空间隔离。

YARN Container 就是 Docker 容器吗?

不是同一个概念。YARN Container 表示被调度的资源分配及执行上下文;是否使用 LinuxContainerExecutor、Docker 等执行方式取决于部署。看到 Container 一词不能推断已经具有 Docker 的镜像和命名空间隔离。

各组件做什么

ApplicationMaster 协调应用并申请资源,ResourceManager 负责集群资源管理与调度,NodeManager 负责节点上的执行和监测。一个节点可以承载多个分配,能否获得资源还受队列、配额、可用资源和调度配置限制。

内存与 vcore 请求不是脱离调度器的物理性能承诺;vcore 也不能简单理解为永久独占的 CPU 核心。Container 可以运行非 Java 程序,但仍需要正确执行环境与权限。

观察方案

在有权限的 Hadoop 3.3.6 测试客户端执行:

yarn application -list

预期看到按当前过滤与权限返回的应用列表。接着用已有 application ID 查看状态和关联日志,区分申请等待、已分配、运行中与失败。本页没有提交作业或运行客户端,因此没有伪造 application ID 和成功日志。

不要把“申请了内存”直接认定为运行时不会超限,也不能把资源等待误判为程序线程死锁。继续:YARN 日志与监控。

整理范围与出处

本次依据下方版本资料整理说明与示例;历史导入资料的来源状态单独列示,不将技术参考认作原作者信息。原始发布日期与地址保留。