大模型训练时采用什么padding方式，为什么？

Question

Accepted Answer

考察点：考察对序列填充策略及其对训练效率和注意力机制影响的理解。回答思路：明确指出通常采用右侧padding（右填充）而非左侧padding 解释右填充对注意力掩码和batch并行处理的优势 说明右填充与因果注意力（causal attention）的兼容性 讨论不同填充策略对训练速度和内存的影响

考察说明