请阐述 Hadoop 分布式缓存（DistributedCache）的底层实现原理，并给出在大规模集群环境下提升缓存性能的优化策略。
考察说明
考查对 Hadoop 分布式缓存机制的理解及大规模场景下的性能调优能力。
回答思路
- 【回答框架 1】Hadoop 分布式缓存通过 MapReduce 框架在作业提交时将用户指定的文件或归档分发到各个节点的本地磁盘。具体实现上，JobClient 在提交作业时将缓存文件上传到 HDFS 的暂存目录，并在作业配置中记录文件的位置、大小和时间戳等信息，ResourceManager 随后将缓存文件列表随作业一起调度到各个 NodeManager，NodeManager 在启动容器前将文件从 HDFS 拉取到本地路径（通常为工作目录下的固定路径），并将其符号链接到作业的本地目录中，以便任务直接访问。
- 【回答框架 2】分布式缓存的核心数据结构是 DistributedCache，在旧版 API 中通过 JobConf 的方法添加缓存文件，新版 MapReduce API 中则通过 Job 类或 Configuration 设置，例如使用 job.addCacheFile(URI) 或 addCacheArchive(URI)。这些方法会将文件 URI 写入配置，并在任务执行时由 TaskRunner 解析。在实现上，缓存文件会被置为只读，并且每个任务都会看到一致的本地副本，即使节点上已有缓存，也会通过文件的时间戳和大小校验来判断是否需要重新下载。
- 【回答框架 3】优化大规模集群中的缓存性能可以从减少网络传输和磁盘 IO 入手。首先，合理设置缓存文件的大小和数量，避免单个文件过大或数量过多导致节点本地存储压力。其次，利用节点间的亲和性，尽量让需要相同缓存的任务调度到已经缓存的节点上，可以通过自定义调度器或数据局部性优化实现。此外，可以启用压缩以减小传输体积，但需权衡解压开销；同时，使用归档（archive）减少小文件数量，降低元数据开销和磁盘占用。
- 【关键点 1】分布式缓存分发到各个节点的本地磁盘，任务通过 symlink 访问。
- 【关键点 2】缓存文件通过 HDFS 存储，作业配置携带文件清单，节点校验时间戳决定是否重下载。
- 【关键点 3】优化策略包括控制缓存大小和数量、利用数据局部性、使用归档压缩等。
- 【易错点 1】分布式缓存文件只读，不支持更新；修改后需重新提交作业或更换文件名。
- 【易错点 2】缓存文件过多或过大可能导致节点磁盘空间不足，需监控并清理临时文件。
- 【易错点 3】依赖缓存一致性时需注意文件版本管理，避免多个作业共享缓存导致冲突。