在 Apache Hadoop YARN 中，配置容器的 CPU 和内存限制有哪些具体方法？这些配置如何帮助提升集群资源利用率？

回答思路

1. 【回答框架 1】YARN 资源管理以容器为基本单位，默认按内存调度，CPU 为可选项。内存配置涉及 yarn.nodemanager.resource.memory-mb（节点总内存）、yarn.scheduler.minimum-allocation-mb 和 maximum-allocation-mb（单个容器内存范围）以及容器内部使用的物理内存上限。合理设置这些参数可避免因容器内存过小导致任务失败或过大造成资源浪费。
2. 【回答框架 2】CPU 配置在 YARN 中通过 yarn.nodemanager.resource.cpu-vcores 设定节点可用虚拟核数，scheduler 的 minimum-allocation-vcores 和 maximum-allocation-vcores 控制单个容器 vcore 范围。默认情况下，YARN 只按 vcore 进行逻辑调度，不会强制限制容器实际 CPU 使用，需要借助操作系统 cgroup 或 LinuxContainerExecutor 实现物理隔离。
3. 【回答框架 3】提升资源利用率的关键在于准确估算作业的实际资源需求：内存方面防止容器内存配置过大导致节点资源碎片化；CPU 方面避免 vcore 数量超过物理核数造成过度订阅。此外，可结合 Capacity Scheduler 或 Fair Scheduler 的多队列配置，按作业优先级和资源需求动态分配，减少空闲资源。
4. 【回答框架 4】对于资源密集型作业，可在容器内设置 JVM 堆内存（如 mapreduce.map.memory.mb 和 mapreduce.reduce.memory.mb）以及 CPU 核数（如 mapreduce.map.cpu.vcores），使容器资源与作业实际使用匹配。同时注意 YARN 的默认资源计算模型，内存是硬限制，CPU 是软限制，实际 CPU 限制需要通过 cgroup 启用。
5. 【关键点 1】YARN 默认按内存调度，CPU 配置需要补充 cgroup 才能实现物理隔离。
6. 【关键点 2】节点总资源 yarn.nodemanager.resource.memory-mb 和 yarn.nodemanager.resource.cpu-vcores 决定可供调度的资源总量。
7. 【关键点 3】容器内存上下限由 scheduler 的 minimum-allocation-mb 和 maximum-allocation-mb 控制，合理设置可减少碎片。
8. 【关键点 4】作业层面的 mapreduce.map.memory.mb 等参数需与容器资源匹配，避免资源浪费或 OOM。
9. 【关键点 5】通过多队列调度和动态资源分配可提高整体集群利用率。
10. 【易错点 1】仅调整 vcore 数量而不启用 cgroup，不能真正限制容器 CPU 使用，可能导致资源争抢。
11. 【易错点 2】将容器内存设置过大会造成节点资源碎片，过小则易引发任务失败或 OOM，需根据实际作业调整。
12. 【易错点 3】忽视作业类型差异，对所有作业使用统一配置可能导致部分作业资源闲置，利用率提升有限。