请解释 Self-Attention、Cross-Attention 和 GQA（Grouped Query Attention）在 Transformer 中的作用与区别。

Question

Accepted Answer

考察点：考察对 Transformer 注意力机制变体及原理的理解。回答思路：说明 Self-Attention 和 Cross-Attention 的输入来源、用途 阐述 GQA 如何平衡推理速度与质量 能够清晰对比标准多头注意力和 GQA 的差异

考察说明