你对Transformer注意力机制的复杂度有怎样的理解？如果将其应用到大规模训练中，训练时间会受到哪些因素的影响？

回答思路

1. 能够准确说明自注意力机制的时间复杂度为O(n^2·d)
2. 能解释空间复杂度及内存占用情况
3. 能分析训练时间受序列长度、模型规模、硬件资源、批大小等因素的影响
4. 能提出如稀疏注意力、线性注意力等优化思路