字节跳动面试题更新 2026-08-05

请分析Self-Attention的时间复杂度,并与RNN进行对比。

字节跳动人工智能互联网/IT性能优化技术原理方案权衡Transformer

考察说明

考察时间复杂度分析与模型特性比较能力

回答思路

  1. 准确给出Self-Attention的O(n^2·d)复杂度
  2. 说明RNN的O(n·d^2)复杂度及串行限制
  3. 讨论各自在长序列处理上的瓶颈