Self Attention和Position Embedding通常是直接相加的，如果改成concat会有什么影响？

Question

Accepted Answer

考察点：考察对Transformer输入融合方式及其对模型语义和参数量的理解。回答思路：说明加法的等价性与维度不变优势 分析concat带来的维度增加、参数量上升和计算开销 讨论concat对信息隔离与相对位置归纳偏置的影响 对比两种方式的表达能力差异与实际效果

考察说明