深圳虾皮信息科技有限公司面试题更新 2026-08-05

对于超长序列（如超过 10 万 tokens）的处理场景，你会如何设计存储与线上推理方案来降低延迟？请说明关键取舍，并谈谈‘在序列上加 ROI（感兴趣区域）’这类做法是否值得投入。