我要招人

互联网/IT行业面试题更新 2026-08-05

对于超长序列（如超过 10 万 tokens）的处理场景，你会如何设计存储与线上推理方案来降低延迟？请说明关键取舍，并谈谈‘在序列上加 ROI（感兴趣区域）’这类做法是否值得投入。

深圳虾皮信息科技有限公司人工智能互联网/IT性能优化系统设计方案权衡

考察说明

考察长序列处理中的存储与推理延迟优化，以及效益权衡判断

回答思路

  1. 指出存储侧可用的分块、索引或摘要策略
  2. 说明推理延迟来源，如注意力复杂度与显存占用
  3. 讨论稀疏注意力、降采样或 ROI 提取的实际收益与局限
  4. 体现对成本、效果与工程复杂度的权衡意识