如何应对反爬机制？

回答思路

1. 能列举常见反爬手段及其原理
2. 能说明合法合规的应对策略如限速、代理池、随机化、验证码处理等
3. 能讨论反爬与业务合规、robots协议及法律边界
4. 能结合具体场景权衡技术选型与风险