在计算Attention时有什么节省显存资源的策略吗？比如将两个样本拼到一起计算attention等。

Question

Accepted Answer

考察点：考察对Attention显存优化的理解与实践，包括计算与内存的权衡。回答思路：列举显存占用来源及优化方向 解释样本拼接或batching对显存的影响 能够结合计算复杂度或实现细节说明权衡

考察说明