做爬虫的时候可能每个网页的html结构都不一样，人工去解析很麻烦，有什么办法吗？

Question

Accepted Answer

考察点：考察对网页解析自动化与通用爬虫方案的理解。回答思路：能提出减少人工解析的方法如通用提取规则 能说明XPath/CSS选择器与自动生成工具 能提及基于模板或机器学习的内容提取方案 能讨论动态渲染页面与反爬的应对思路

考察说明