人工智能行业面试题更新 2026-08-05
如何计算LLM占用的内存大小？
合合信息人工智能性能优化技术原理
考察说明
考察对大型语言模型内存占用量化的理解，包括参数、激活、优化器状态等因素
回答思路
- 说明主要内存来源：模型参数、梯度、优化器状态、激活值
- 给出参数量与精度的定量关系（如7B FP16约14GB）
- 讨论推理与训练场景的内存差异
- 提及KV cache和序列长度对内存的影响
- 考虑实际内存分配上下文（框架、设备）
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
