人工智能面试题更新 2026-08-05
请估算一个7B参数的大语言模型在推理时的显存占用，并说明估算思路。
360集团人工智能互联网/IT性能优化问题拆解技术原理PyTorch
考察说明
考察对大模型参数量与显存关系、推理时内存构成的理解能力
回答思路
- 能分别计算权重、激活、KV Cache等部分的显存
- 能解释半精度（如FP16/BF16）与全精度（FP32）下权重的字节数差异
- 能结合上下文长度和batch大小估算KV Cache开销
- 能区分训练与推理态的显存需求差异
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
