淘天集团面试题更新 2026-08-05
多轮对话中Attention如何导致历史信息衰减？
淘天集团人工智能互联网/IT问题拆解技术原理
考察说明
考察对Transformer长上下文信息衰减机制的理解
回答思路
- 解释Softmax归一化导致的注意力权重稀释
- 说明位置编码和距离对注意力权重的影响
- 讨论长序列中梯度和权重数值稳定性问题
- 能结合实际场景说明衰减对多轮对话的影响
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
