人工智能面试题更新 2026-08-05
请解释注意力机制中self-attention的计算复杂度，并说明其瓶颈。
商汤科技人工智能技术原理技术选型Transformer
考察说明
考察对Transformer核心机制的计算复杂度理解及性能瓶颈识别
回答思路
- 给出self-attention计算复杂度的量级O(n^2·d)并正确解释n和d
- 区分矩阵乘法与attention权重计算分别的复杂度贡献
- 指出内存与计算瓶颈随序列长度二次增长
- 能提及优化方向如稀疏注意力或线性注意力
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
