1.1 爬虫概念
爬虫又被称为网页蜘蛛、网络机器人，有时也被称为网页追逐者，是一种按照一定的规则，自动地抓取互联网上网页中相应信息(文本图片等)的程序或脚本，然后把抓取的信息存储到自己的计算机上。简单来说，爬虫就是抓取目标网站内容的工具，一般是根据定义的行为自动进行抓取，更智能的爬虫会自动分析目标网站结构，类似于搜索引擎的爬虫。
说明:
1.模拟: 用爬虫程序伪装出人的行为,避免被服务识别为爬虫程序。
2.客户端: 浏览器,APP都可以实现人与服务器之间的交互行为,应用客户端从服务器获取数据。
3.自动化: 数据量较小时可以人工获取数据,但往往在公司中爬取的数据量在百万条,千万条级别的,所以要程序自动化获取数据.
- Python爬虫架构：Python是编写爬虫的常用语言之一，其爬虫架构主要由调度器、URL管理器、网页下载器、网页解析器和应用程序（用于存储爬取的数据）五部分组成。
- 常用工具：在进行网页解析时，常用的工具有re正则表达式、xpath、beautiful soup和selenium等。这些工具各有特点，适用于不同的场景和需求。
- 应用场景：网络爬虫广泛应用于搜索引擎的信息收集、大数据分析、市场调研、竞争对手分析等领域。它们可以帮助用户高效地获取大量网络上的信息，进行分析和利用。
- 注意事项：在使用爬虫时，需要注意法律法规和道德规范，避免侵犯版权或隐私权，同时也要注意不要对目标网站的服务器造成过大压力。
接下来我们进行实例操作
爬取直播间的多页信息【实例】
那么讲解就到这里结束了，其实更多的主要是实操为主，建议多去看些网课跟着做，这个还是比较易懂的