给定两个约200亿条记录的大数据文件，内存空间仅4GB，如何判断两个文件中是否存在重复记录？

回答思路

1. 说明传统哈希去重在内存不足时的失效原因
2. 给出基于哈希分片或外部排序的完整方案
3. 估算分片数量与内存占用，体现计算能力
4. 讨论时间复杂度与磁盘IO代价
5. 指出边界条件如单文件内部重复如何处理