人工智能面试题更新 2026-08-05
请分析 Transformer 模型的计算复杂度,并给出其核心机制(如自注意力)的伪代码。
小红书人工智能专业服务编码实现问题拆解技术原理Transformer
考察说明
考察对 Transformer 架构计算复杂度的理解和伪代码表达能力
回答思路
- 准确说明自注意力的时间复杂度为 O(n^2·d)
- 能区分序列长度 n 与隐藏维度 d 的贡献
- 给出清晰的伪代码展示 Q、K、V 计算及 softmax 步骤
- 能对比自注意力与全连接、位置编码等的复杂度
- 体现对计算瓶颈和常见优化(如稀疏注意力)的意识
本题附完整参考答案与评分标准
登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。