预训练时packing和padding的区别,packing的优点和缺点有哪些,哪种效果好一些?

Question

Accepted Answer

考察点：考察对预训练数据组织方式的理解及权衡能力。回答思路：准确解释packing与padding在序列组织上的核心区别 能列举packing在计算效率、训练稳定性方面的优点 能指出packing在实现复杂度、注意力掩码处理上的缺点 能结合训练目标和资源约束分析哪种方式更优

考察说明