中科曙光面试题更新 2026-08-05
在大模型推理场景中，如何优化推理延迟以压缩响应时间？请从模型、系统和硬件层面分别说明可行策略。
中科曙光人工智能电子/半导体性能优化系统设计方案权衡
考察说明
考察对大模型推理性能优化的系统理解和分层优化思路
回答思路
- 能区分模型层、系统层和硬件层的优化手段
- 指出量化、剪枝、蒸馏等模型压缩方法及适用场景
- 说明KV Cache、批处理、投机采样等系统级加速
- 涉及硬件选型如GPU、专用芯片对延迟的影响
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
