请描述Transformer中MHA（多头注意力）和FFN（前馈网络）的参数量与计算量（FLOPs）分别如何计算，并说明各自的计算瓶颈。
考察说明
考察对Transformer核心组件参数量与计算复杂度（FLOPs）的精确理解及对比分析能力
回答思路
- 正确给出MHA的参数量公式（包括Q/K/V投影、输出投影，不含偏置可选）
- 正确给出MHA的FLOPs计算（注意力矩阵乘法与softmax占比）
- 正确给出FFN的参数量（两个线性层）和FLOPs（2*参数量*序列长度）
- 明确比较MHA与FFN在参数量和计算量上的相对大小及瓶颈
- 能讨论不同序列长度下两者的缩放关系
- 能区分训练与推理时的计算量差异（如缓存机制）
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。