在 Apache Sqoop 进行数据迁移时，如何实现大批量数据的导入与导出？请说明常用的性能优化选项和配置参数。
考察说明
考查对 Sqoop 批量数据迁移流程及优化手段的理解和应用能力。
回答思路
- 【回答框架 1】Sqoop 导入导出基于 MapReduce 并行执行，默认通过 JDBC 从关系数据库读取数据，按表或查询结果生成并行任务，批量处理通常指合理设置并行度、批次大小和传输方式。
- 【回答框架 2】优化配置首先关注并行度：通过 -m 指定 Map 任务数，通常与数据量和数据库资源匹配；但表必须存在主键或使用 --split-by 指定拆分列，否则无法并行。
- 【回答框架 3】批量写入方面，导出时可设置 --batch 和批量参数，如 sqoop.export.records.per.statement 或 batch.size，减少 JDBC 交互次数；导入时使用 --fetch-size 控制每次抓取行数，平衡内存与网络开销。
- 【回答框架 4】传输层可使用 --direct 模式，利用数据库原生工具如 mysqldump 提高速度，但要注意连接数和兼容性，生产环境建议结合 --num-mappers 与数据库连接池上限。
- 【回答框架 5】数据压缩可设置 --compress 和压缩编码（如 snappy），减少 I/O 和网络传输量；同时调整 MapReduce 相关配置如 mapreduce.map.memory.mb 和 mapreduce.task.io.sort.mb 以适应大数据块。
- 【关键点 1】合理设置 --num-mappers 并行度，需配合 --split-by 指定拆分列。
- 【关键点 2】导出时开启 --batch 并调整批量大小减少 JDBC 交互。
- 【关键点 3】导入时利用 --fetch-size 控制抓取行数，避免内存溢出。
- 【关键点 4】启用 --direct 模式可提速但需注意数据库兼容性。
- 【关键点 5】使用数据压缩（如 snappy）降低网络和存储开销。
- 【易错点 1】未指定拆分键时并行度无法生效，Sqoop 可能退化为单任务。
- 【易错点 2】--direct 模式下缓冲参数可能失效，需额外调优。
- 【易错点 3】盲目增大并行度可能导致数据库连接数过多、负载过高或导出事务冲突。