AI 简历
简历模板
简历范文
模拟面试
求职导师
校招
求职攻略
大学生求职地图
求职攻略文章
浏览器插件
关于我们
我要招人
登录
登录
AI 简历
简历模板
简历范文
模拟面试
求职导师
校招
求职攻略
大学生求职地图
求职攻略文章
浏览器插件
关于我们
我要招人
首页
面试题库
腾讯面试题
估算使用DeepSpeed ZeRO-3微调Qw…
腾讯面试题
更新 2026-08-05
估算使用DeepSpeed ZeRO-3微调Qwen2-72B时单卡显存占用量并说明原因
腾讯
人工智能
互联网/IT
问题拆解
技术原理
DeepSpeed
考察说明
考察大模型分布式训练显存分析能力,以及ZeRO-3的内存优化原理
回答思路
能列出模型参数、梯度、优化器状态在ZeRO-3下的划分方式
能估算模型参数本身的内存占用,并考虑混合精度的影响
能说明激活值和其他临时张量对显存的影响
能给出合理的单卡显存数量级估算,并解释估算依据
换一题
上一题
请分享一次你与产品团队或开发团队合作的经历。
下一题
MySQL 崩溃恢复时,redo log、undo log、binlog 的执行顺序是怎样的?
本题还出现在
互联网/IT行业面试题
人工智能面试题