度小满面试题更新 2026-08-05

请说说streaming-llm中sink、sparse的细节,比如sink点的位置选择方法,正常应该如何选取sink点?

度小满人工智能金融技术原理方案权衡

考察说明

考察对StreamingLLM注意力机制中sink与sparse策略的理解及实现细节

回答思路

  1. 能清晰解释sink点和sparse(局部窗口)在StreamingLLM中的作用
  2. 说明sink点的选取依据:通常是初始token,用于稳定注意力并避免流式处理中的注意力流失
  3. 能结合注意力分布特性说明为什么选择初始token作为sink
  4. 能给出实际应用中的取舍与边界情况,如任务类型、上下文长度等