巨细!【python爬虫实战案例】

这篇是纯干货分享,对python感兴趣的可以认真看起来!

一、爬虫的基本概述

1、基本概念

爬虫(又称为网页蜘蛛,网络机器人,在 FOAF 社区中间,更经常的称为网页追逐者);它是一种按照一定的规则,自动地抓取网络信息的程序或者脚本。如果我们把互联网比作一张大的蜘蛛网,那一台计算机上的数据便是蜘蛛网上的一个猎物,而爬虫程序就是一只小蜘蛛,他们沿着蜘蛛网抓取自己想要的猎物/数据。

2、基本流程

3、爬虫核心技巧

3.1 请求库

请求库有:requests、selenium、urllib、aiohttp,我个人比较推荐新手小白掌握urllib和requests请求库。

3.2 抓包工具分析网络请求

抓取工具主要有chrome firefox fidder appium,其中fidder基本可以说目前最为全面和强大的抓包工具。

3.3 解析数据库

解析库有非常多可以选择,比如CSS、pyqery、re、xpath等,比较建议掌握Beautiful Soup和Xpath

3.4 保存数据

小规模数据可以使用txt文件、json文件、csv文件等方式来保存文件。

大规模数据就需要使用数据库像mysql,mongodb、redis等,就比较方便查询管理。

二、代码分解

首先,导入需要用到的库:

然后,定义各个国家的请求地址:

定义一个请求头request header:

解析每个字段信息:

最后,保存Excel数据:

相关推荐
VBA63377 分钟前
VBA之Word应用第四章第二节:段落集合Paragraphs对象(二)
开发语言
叫我阿柒啊34 分钟前
从Java全栈到前端框架:一次真实面试的深度复盘
java·spring boot·typescript·vue·database·testing·microservices
点云SLAM35 分钟前
C++ 常见面试题汇总
java·开发语言·c++·算法·面试·内存管理
sniper_fandc39 分钟前
IDEA修改系统缓存路径,防止C盘爆满
java·ide·intellij-idea
aristo_boyunv44 分钟前
拦截器和过滤器(理论+实操)
java·数据仓库·hadoop·servlet
半夏陌离1 小时前
SQL 入门指南:排序与分页查询(ORDER BY 多字段排序、LIMIT 分页实战)
java·前端·数据库
CUIYD_19891 小时前
Eclipse 常用搜索功能汇总
java·ide·eclipse
java1234_小锋1 小时前
Scikit-learn Python机器学习 - 特征降维 压缩数据 - 特征提取 - 主成分分析 (PCA)
python·机器学习·scikit-learn
xiaowu0801 小时前
策略模式-不同的鸭子的案例
开发语言·c#·策略模式
敬业小码哥1 小时前
记一次:mysql的json及json数组使用组合使用
数据库·mysql·json