请说明 Flash Attention 的时间与空间复杂度，并解释其与标准 Attention 的差异。
考察说明
考察对 Flash Attention 算法原理、复杂度分析及优化效果的理解
回答思路
- 明确标准 Attention 的时间复杂度为 O(n^2·d) 或 O(n^2)，空间复杂度为 O(n^2)
- 说明 Flash Attention 通过分块（tiling）和重计算降低内存占用，时间复杂度不变但常数更小
- 解释 Flash Attention 的 I/O 复杂度（HBM 与 SRAM 之间的访存次数）优化是核心
- 能说明其适用场景及在长序列场景下的优势
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。