阿里巴巴面试题更新 2026-08-05

请分享你在大语言模型有监督微调(SFT)中的调参经验,重点说明关键超参数的选择依据和调整方法。

阿里巴巴人工智能电商持续改进问题拆解技术原理LLM

考察说明

考察对大模型SFT关键超参数的理解、实践经验与调参方法论

回答思路

  1. 能列出学习率、批次大小、epoch数、权重衰减等关键超参数
  2. 说明各超参数对收敛和过拟合的影响及选择依据
  3. 结合具体数据规模和任务类型给出调参策略
  4. 提及学习率调度、warmup、梯度累积等实践技巧
  5. 能通过实验对比说明调参过程而非死记参数值