互联网/IT行业面试题更新 2026-08-05

如果单卡放不下模型如何做模型并行?

美团人工智能互联网/IT系统设计技术原理方案权衡DeepSpeed

考察说明

考察对大模型训练和推理中并行策略的理解与选择

回答思路

  1. 能区分数据并行、模型并行和张量并行的适用场景
  2. 说明模型并行如何切分参数和计算
  3. 涉及通信开销、负载均衡和扩展性问题
  4. 能根据内存瓶颈和卡间带宽提出合理方案
本题已收录答题指导

本题附完整参考答案与评分标准

登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。