vllm中内存的内碎片和外碎片是怎么产生的？

Question

Accepted Answer

考察点：考察对vLLM显存管理与碎片化机制的理解。回答思路：解释内碎片（分配粒度导致的浪费）与外碎片（KV cache分配后的空闲不连续） 说明vLLM的块分配方式（如PagedAttention）如何影响碎片 分析碎片对批处理和吞吐的影响及缓解措施

考察说明