在 Qwen 训练中，packing 形式和多轮对话形式对训练效率分别有何影响？请解释原因。

Question

Accepted Answer

考察点：考察对训练效率影响的理解，包括计算和内存利用。回答思路：指出 packing 能减少填充、提高吞吐量 指出多轮对话可能引入填充或需要特殊处理 能说明注意力掩码的作用 能说明分桶等策略的应用

考察说明