请用 NumPy 手写实现一个 Transformer 块的前向传播:输入一个矩阵,输出经该块处理后的结果,要求不使用 PyTorch。
考察说明
考察对 Transformer 块结构(自注意力与前馈网络)的掌握及基于数组的编码实现能力
回答思路
- 正确实现多头自注意力,包含 Q/K/V 投影、缩放点积注意力与输出投影
- 正确实现残差连接与 LayerNorm
- 正确实现前馈网络(两层线性加激活)
- 维度与矩阵运算正确,能在给定输入上得到合理输出
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。