请手写实现Transformer Decoder层，并说明如何实现mask机制以支持自回归生成。
考察说明
考察对Transformer Decoder结构、自注意力mask和因果掩码的实现能力
回答思路
- 正确实现DecoderLayer的组件：多头自注意力、交叉注意力、前馈网络、残差连接和层归一化
- 正确实现自注意力中的因果mask，确保每个位置只能attend到之前的位置
- 正确处理padding mask与因果mask的组合
- 说明训练与推理时mask使用方式的差异
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。