我要招人

深信服面试题更新 2026-08-05

大模型输入长度如何提升

深信服人工智能专业服务性能优化技术原理方案权衡

考察说明

考察对序列长度扩展技术路线的理解与方案权衡

回答思路

  1. 说明Transformer自注意力的平方复杂度瓶颈
  2. 覆盖位置编码外推与插值方法
  3. 讨论稀疏注意力、滑窗、线性注意力等机制
  4. 结合RoPE、YaRN、NTK-aware等对长上下文的外推
  5. 区分训练阶段扩展与推理阶段优化