怎么理解多头注意力？它比单头注意力好在哪？

Question

Accepted Answer

考察点：考察对注意力机制原理的理解及多头设计动机。回答思路：能解释多头注意力的计算流程：线性投影、分头计算、拼接合并 说明多头允许模型在不同的表示子空间并行关注不同位置 能结合具体场景说明多头如何提升表达能力和稳定性 如能提及头间冗余或开销问题则更佳

考察说明