请说说streaming-llm中sink、sparse的细节,比如sink点的位置选择方法,正常应该如何选取sink点?
考察说明
考察对StreamingLLM注意力机制中sink与sparse策略的理解及实现细节
回答思路
- 能清晰解释sink点和sparse(局部窗口)在StreamingLLM中的作用
- 说明sink点的选取依据:通常是初始token,用于稳定注意力并避免流式处理中的注意力流失
- 能结合注意力分布特性说明为什么选择初始token作为sink
- 能给出实际应用中的取舍与边界情况,如任务类型、上下文长度等