我要招人登录

字节跳动面试题更新 2026-08-05

Transformer中带Mask的Attention是如何实现的？

字节跳动人工智能互联网/IT编码实现技术原理Transformer

考察说明

考察掩码机制的原理与实现方式

回答思路

区分padding mask与后续位置掩码
说明在Softmax前将掩码位置设为负无穷
描述Padding掩码与序列长度有关，因果掩码保证自回归