请概述自注意力机制从原始设计到现代优化的主要发展路线。

Question

Accepted Answer

考察点：考察对Transformer核心机制演进脉络的理解与归纳能力。回答思路：准确描述原始自注意力的计算流程与复杂度瓶颈 梳理代表性优化方向（如稀疏注意力、线性注意力、低秩近似、内存优化） 说明不同优化的适用场景与权衡 体现对趋势的整体把握而非罗列孤立模型

考察说明