如何优化Transformer中计算量最大的模块（自注意力）？

Question

Accepted Answer

考察点：考察对自注意力优化的多种方法及权衡的理解。回答思路：能提出稀疏注意力或局部窗口注意力 提及线性注意力或核化方法 考虑模型蒸馏或量化等工程手段 能说明每种方案的适用场景与代价

考察说明