阿里巴巴面试题更新 2026-08-05

位置编码的必要性体现在哪里,为何选用 sin/cos 函数进行位置编码?

阿里巴巴人工智能电商技术原理方案权衡

考察说明

考察对 Transformer 位置感知原理及正弦余弦编码设计动机的理解

回答思路

  1. 说明注意力机制缺乏序列顺序感知,需要注入位置信息
  2. 解释正弦余弦编码的周期性、相对位置表达能力和数值稳定性
  3. 能对比可学习位置编码的差异并说明其适用边界