面对大规模数据迁移场景，请说明采用 Apache Sqoop 执行批量导入与导出任务时的处理方式，并列举出可用的性能调优手段。

回答思路

1. 【回答框架 1】Sqoop 批量导入导出通过 MapReduce 作业实现，默认使用 4 个 mapper 并行读取和写入，每个 mapper 处理一个数据分片。导入时从关系型数据库按主键或查询条件拆分数据，导出时则从 HDFS 读取文件并并行写入数据库。
2. 【回答框架 2】性能调优核心在于增加并行度、减少网络和 I/O 开销。可调大 --num-mappers 参数以增加 mapper 数量，但需注意数据库连接数限制和源端负载。使用 --split-by 指定合理的拆分列，避免数据倾斜。
3. 【回答框架 3】优化传输环节：采用 --direct 模式利用数据库原生工具加速导入导出；设置 --fetch-size 调整每次拉取行数；启用压缩（如 snappy）减少网络传输量。导出时使用 --batch 参数启用批量写入，减少数据库提交次数。
4. 【回答框架 4】资源层面：确保 YARN 容器内存和 CPU 足够，可调整 mapreduce.map.memory.mb 等参数。对于超大表，可先按分区或条件拆分任务，分批次执行，并考虑使用 Sqoop 的 --where 或 --query 限制数据范围。
5. 【回答框架 5】最终通过监控作业运行时间和数据库负载，逐步调整参数，平衡并行度和系统稳定性。
6. 【关键点 1】Sqoop 任务基于 MapReduce，并行度由 mapper 数量决定。
7. 【关键点 2】增加 --num-mappers 需配合合理的 --split-by 列避免倾斜。
8. 【关键点 3】--direct 模式、--batch 和压缩能显著提升传输效率。
9. 【关键点 4】调优需结合数据库连接数、I/O 和内存限制，不可盲目加大并行度。
10. 【关键点 5】大表可拆分多个子任务分批次迁移。
11. 【易错点 1】--num-mappers 过大可能导致数据库连接耗尽或锁竞争，反而降低性能。
12. 【易错点 2】使用 --direct 模式依赖数据库原生工具，某些场景下可能不支持或引发兼容问题。
13. 【易错点 3】未设置合理 --split-by 列（如非均匀分布的主键）会造成数据倾斜，部分 mapper 过载。