我要招人

人工智能面试题更新 2026-08-05

vLLM的核心原理是什么？

深圳虾皮信息科技有限公司人工智能互联网/IT技术原理方案权衡vLLM

考察说明

考察对大模型推理系统核心机制的理解与表达能力

回答思路

  1. 能清晰说明PagedAttention与虚拟内存分页的类比
  2. 能解释KV Cache的作用及其内存碎片问题
  3. 能说明Continuous Batching如何提升吞吐
  4. 能提及vLLM对模型推理延迟和吞吐的影响