YARN Container 就是 Docker 容器吗?
不是同一个概念。YARN Container 表示被调度的资源分配及执行上下文;是否使用 LinuxContainerExecutor、Docker 等执行方式取决于部署。看到 Container 一词不能推断已经具有 Docker 的镜像和命名空间隔离。
各组件做什么
ApplicationMaster 协调应用并申请资源,ResourceManager 负责集群资源管理与调度,NodeManager 负责节点上的执行和监测。一个节点可以承载多个分配,能否获得资源还受队列、配额、可用资源和调度配置限制。
内存与 vcore 请求不是脱离调度器的物理性能承诺;vcore 也不能简单理解为永久独占的 CPU 核心。Container 可以运行非 Java 程序,但仍需要正确执行环境与权限。
观察方案
在有权限的 Hadoop 3.3.6 测试客户端执行:
yarn application -list
预期看到按当前过滤与权限返回的应用列表。接着用已有 application ID 查看状态和关联日志,区分申请等待、已分配、运行中与失败。本页没有提交作业或运行客户端,因此没有伪造 application ID 和成功日志。
不要把“申请了内存”直接认定为运行时不会超限,也不能把资源等待误判为程序线程死锁。继续:YARN 日志与监控。
整理范围与出处
本次依据下方版本资料整理说明与示例;历史导入资料的来源状态单独列示,不将技术参考认作原作者信息。原始发布日期与地址保留。