我要招人

人工智能面试题更新 2026-08-05

Agentic长文本训练时候容易OOM,你有什么好的优化吗?

美团人工智能互联网/IT性能优化技术原理方案权衡DeepSpeedPyTorch

考察说明

考察大模型长文本训练的内存优化策略与工程实践

回答思路

  1. 能识别OOM的根本原因（激活值、梯度、参数、优化器状态）
  2. 能说明梯度累积、混合精度、激活检查点等基础手段
  3. 能针对长文本场景提出序列并行、上下文压缩等专项优化
  4. 能结合实际训练框架（如Megatron、DeepSpeed）说明配置