机器batchsize最大只能=16,但想要batchsize=32的结果,该怎么做(梯度累积)
考察说明
考察梯度累积原理及其对训练效果的影响
回答思路
- 理解梯度累积的基本思想：将大batch的梯度拆成多个小batch分别计算，再累积梯度后更新一次参数
- 能说明为什么等效于大batch：多个小batch的梯度求和平均后等于大batch的梯度近似
- 能提及batch size变化对BatchNorm等层差异和收敛的影响
- 能给出实现要点，如清零梯度时机、累积步数计算
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。