能否解释Transformer使用多头注意力机制的动机？

Question

Accepted Answer

考察点：考察对多头注意力作用、动机及权衡的理解。回答思路：说明单头注意力的表达能力限制及多头带来的子空间并行学习 解释多头可关注不同位置与关系、增强模型表达能力 提及计算开销与维度划分的权衡 结合Transformer结构说明其提升训练并行与效果

考察说明