请设计一个方案，对一亿个URL进行去重并评估其性能与适用场景。

Question

Accepted Answer

考察点：考察大数据量去重算法设计、哈希与布隆过滤器的原理及工程取舍。回答思路：明确内存与时间约束，提出使用哈希表或布隆过滤器等方案 解释布隆过滤器的误判率、位数组大小与哈希函数数量的关系 对比不同方案的优缺点并说明适用场景 考虑实际工程中的拆分与分布式化 评估去重精度需求并给出权衡

考察说明