请计算给定Transformer模型在一次前向推理中的FLOPs和内存开销。

Question

Accepted Answer

考察点：考察对模型计算复杂度和显存占用的量化分析能力。回答思路：正确推导矩阵乘法和注意力部分的FLOPs 考虑KV缓存与激活值的显存占用 说明影响计算量的主要因素

考察说明