在Transformer编码器内部，如果仅考虑自注意力操作，将K去掉改成QQV，具体会导致哪些计算或效果上的问题？

Question

Accepted Answer

考察点：考察对注意力计算细节和技术后果的具体分析能力。回答思路：能指出点积结果被Q的范数影响，注意力分布变得过于集中且不稳定 能说明梯度传播可能受矩阵自乘影响，不利于训练 能分析由于键的缺失，模型无法学习到不同键对应的语义独立性

考察说明