python爬虫概念及介绍

1. 什么是互联网爬虫？
解释 1 ：通过一个程序，根据 Url ( http : // www . taobao . com ) 进行爬取网页，获取有用信息
解释 2：使用程序模拟浏览器，去向服务器发送请求，获取响应信息
2. 爬虫核心 ?

1. 爬取网页：爬取整个网页 包含了网页中所有得内容
2. 解析数据：将网页中你得到的数据 进行解析
3. 难点：爬虫和反爬虫之间的博弈
   3. 爬虫的用途？
   数据分析 / 人工数据集
   社交软件冷启动
   舆情监控
   竞争对手监控
   4. 爬虫分类？

5. 反爬手段？