请解释FlashAttention的细节实现以及Online Softmax的原理。
考察说明
考察对高效注意力机制优化的深入理解，包括内存复杂度分析和数值稳定性处理
回答思路
- 说明FlashAttention的核心目标：减少GPU HBM读写，降低内存复杂度
- 解释tiling分块计算和kernel融合的实现方式
- 阐述Online Softmax如何通过逐步更新running max和exp的和来保证数值稳定性
- 分析FlashAttention相对于标准注意力在内存和速度上的优势及适用场景
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。