360集团面试题更新 2026-08-05

请谈谈大模型上下文窗口外推的常见方法及其优劣。

360集团人工智能互联网/IT技术原理技术选型方案权衡

考察说明

考察对大模型上下文外推技术原理与方案权衡的理解

回答思路

  1. 明确外推问题的定义:模型在训练长度之外的推理表现
  2. 提及至少两种主流方法,如RoPE的缩放策略(NTK、YaRN)与位置插值
  3. 说明各方法的原理与适用场景,并指出其局限性
  4. 联系实际模型或应用中如何选择与组合策略
  5. 讨论外推与内插在长文本任务中的效果差异