Transformer中为什么使用多头注意力机制而不是单头注意力？

Question

Accepted Answer

考察点：考察对注意力机制设计动机的理解。回答思路：说明多头注意力能捕获不同类型的关系或特征子空间 解释多个头的输出如何拼接融合 能结合单头注意力的局限性说明多头优势 能指出头的数量是超参数及可能的影响

考察说明