后端岗位面试题更新 2026-08-05
看你做过爬虫，那你会怎么考虑做网站去重？也就是爬过的 URL，不要再爬第二次。
金山WPS后端开发系统设计技术原理方案权衡
考察说明
考察爬虫 URL 去重的方案设计、规模意识和内存权衡
回答思路
- 说明去重的核心目标是避免重复爬取并控制内存
- 能根据规模对比 HashSet、布隆过滤器、数据库等方案
- 能说明布隆过滤器的误判率与可扩展性权衡
- 能结合去重状态持久化与分布式爬虫场景做补充
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
