AI 简历
简历模板
简历范文
模拟面试
校招
求职攻略
关于我们
我要招人
登录
登录
AI 简历
简历模板
简历范文
模拟面试
校招
求职攻略
关于我们
我要招人
首页
面试题库
美团面试题
在 vLLM 部署中,如何实现 2k token…
美团面试题
更新 2026-08-05
在 vLLM 部署中,如何实现 2k tokens/s 的吞吐?
美团
人工智能
互联网/IT
性能优化
系统设计
vLLM
考察说明
考察对 vLLM 性能优化手段和吞吐瓶颈的理解
回答思路
说明影响吞吐的关键因素,如批次大小、模型大小、硬件配置
提出具体优化策略,如增大 batch、使用张量并行、启用连续批处理
提及监控和调优方法,如使用 profiling 工具分析瓶颈
换一题
上一题
动态配置中心下,修改配置后,正在运行且已读到旧配置的线程如何处理?加锁是否可行?
下一题
Redis 有序集合(ZSet)为什么选择跳表而不是红黑树或 B+ 树来作为底层实现?
本题还出现在
互联网/IT行业面试题
人工智能面试题