多头注意力机制和单个注意力机制的时间复杂度相比会变化吗？

Question

Accepted Answer

考察点：考察对多头注意力机制复杂度本质的理解。回答思路：能说明多头注意力将维度拆分后并行计算，总计算量与单头相同 能解释复杂度不随头数增加而增加，因为输入输出维度不变 能指出头数增加主要影响内存占用和参数数量 能区分时间复杂度和实际训练速度的差异

考察说明