爬虫的意义

通俗来讲，假如你需要互联网上的信息，如商品价格，图片视频资源等，但你又不想或者不能自己一个一个自己去打开网页收集，这时候你便写了一个程序，让程序按照你指定好的规则去互联网上收集信息，这便是爬虫 ，我们熟知的百度 ， 谷歌 等搜索引擎背后其实也是一个巨大的爬虫。