在高并发场景下对模型进行流量保护时，如果出现大量任务积压，你倾向将请求积压在缓存层还是模型侧？请说明原因和设计考量。

Question

Accepted Answer

考察点：考察并发保护、排队选址与系统设计权衡。回答思路：明确流量控制与积压策略 分析缓存积压与模型侧积压的优缺点 考虑背压、超时、失败处理与数据一致性 结合具体场景给出选择理由

考察说明