现在让你设计一个ChatGPT的代理服务,它需要购买API key,假设买了1w个API key回来,为了防止被封号,每一个key最多分给5个用户使用,国内用户来访问我们这个代理服务的时候就可以注册一个账号,他可能携带一个userId来聊天。我们怎么设计这样一个分布式代理服务,满足配额要求且考虑一定程度上提升性能
考察说明
考察分布式配额管理、并发一致性与性能优化设计能力
回答思路
- 说明key池化管理与分配策略
- 阐述配额计数的存储与一致性方案
- 讨论负载均衡、缓存和故障处理
- 评估性能提升措施与边界条件
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。