讲一下FlashAttention。
考察说明
考察对FlashAttention算法原理、动机与实现细节的理解深度
回答思路
- 阐述FlashAttention解决的标准Attention计算瓶颈（内存占用与访存开销）
- 解释如何使用分块（tiling）与在线softmax（或重计算）来减少中间矩阵存储
- 提及硬件感知设计，如利用SRAM与kernel融合（fusing）
- 讨论其与标准Attention的输出等价性及可扩展性
- 如有能力，说明其在长序列场景下的收益与适用限制
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。