能介绍一下Flash Attention吗？它是怎么做到既省显存又提速的？
考察说明
考察对Flash Attention原理、显存优化和计算加速机制的理解
回答思路
- 准确解释Flash Attention的动机：避免完整注意力矩阵的显存占用
- 说明分块（tiling）计算与重计算（recompute）策略减少显存
- 说明IO感知算法利用SRAM减少HBM读写从而提速
- 能提及复杂度从O(n²)显存降到O(n)以及flops不变但wall-time降低
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。