CVTE面试题更新 2026-08-05

你了解哪些改进注意力机制复杂度的方法,使其从 O(n²d) 降下来?

CVTE人工智能专业服务技术原理技术选型方案权衡Transformer

考察说明

考察对注意力机制复杂度问题及主流优化方案的掌握

回答思路

  1. 指出原始注意力 O(n²d) 的瓶颈在于序列长度 n 的平方
  2. 至少列出一种经典改进方法及其原理
  3. 能对比不同方法的适用场景与权衡