在使用多头注意力机制时，如果每个注意力头的权重矩阵仅在初始化时随机设置，如何保证不同头之间学习的差异化与随机性？

Question

Accepted Answer

考察点：考察对多头注意力机制中随机初始化、独立性及多样性的理解。回答思路：能解释每个头独立初始化权重矩阵的作用 能说明随机初始化打破对称性与促进特征抽象差异 能指出训练过程中权重更新会随任务驱动产生分化

考察说明