Transformer 中 Attention 的本质是什么?你能从数学角度简要解释一下吗?

Question

Accepted Answer

考察点：考察对注意力机制本质和数学原理的理解。回答思路：说明Attention本质是对输入序列按相关性加权聚合信息 描述Q、K、V的生成和作用 推导缩放点积注意力公式及缩放因子作用 说明Softmax归一化与注意力分布的含义

考察说明