有一些LLM支持超长上下文，怎么做到的？

Question

Accepted Answer

考察点：考察对超长上下文实现机制的深入理解与关键技术取舍。回答思路：能说明位置编码的扩展方式，如RoPE改进 能提及注意力机制的稀疏化或分段处理策略 能说明KV Cache压缩或检索增强等工程手段 能结合训练策略分析超长上下文的成本与局限

考察说明