Python爬虫实战案例之——MySql数据入库

Hello大家好,我是你们的南枫学长,咱们今天来学------爬虫之MySql数据入库。

话不多说,导入咱们的老朋友:

Pymysql就是我们Python里面的mysql库,主要功能就是用来连接MySql数据库,那么下载还是一样的操作去进行下载哈。

下载安装好之后,我们首先先使用到pymsql.connect方法去连接到mysql数据库,然后通过host='localhost'来找到数据库服务器地址。User='root'就是数据库名。Password='jensen'是数据库密码。Db='py_spider'就是我们需要连接的数据库名。Curor=db.cursor()是从数据库连接对象里面获取到一个游标对象,用来执行SQL语句。

设置url

这个url会返回一个json数据,所以我们可以使用get请求并且来获取json数据。

初始化数据列表。创建一个空列表,用来存储从json数据里面提取到的数据

遍历json数据,并提取所需要的信息。遍历json_data里面的每一个元素,再去提取每个元素(我就不一一的去打出来了哈),再把这些值呢,存储到一个新字典(data_dict)里面去,并且添加到data_list列表中。

打印看一下数据对不对

定义一个SQL语句,用在咱们数据库里面去创建一个名字叫:FaDianChang的表,并且去尝试执行SQL语句以创建表。

还偷摸写了个异常处理,这块就不用解释了吧!

如果成功,那么就会打印"表创建成功...",如果失败,那就会捕获异常,并且打印"表创建失败"。

遍历数据列表,插入到数据库里面去:

定义SQL语句(其实就是数据库的增删改查里面的增),插入到对应的表里面去。

最后关闭数据库连接:

相关推荐
啥都想学点9 分钟前
关于制作技术视频讲解的问卷调查
python
喵手9 分钟前
Python爬虫实战:博物馆官网的“展览预告/正在热展”栏目,抓取展览名称、精确展期、具体展厅位置以及票务/预约规则(附CSV导出)!
爬虫·python·爬虫实战·零基础python爬虫教学·博物馆信息采集·采集展览预告/正在热展等·采集数据csv导出
喵手10 分钟前
Python爬虫实战:电商实体消歧完整实战 - 从混乱店铺名到标准化知识库的工程化实现,一文带你搞定!
爬虫·python·算法·爬虫实战·零基础python爬虫教学·同名实体消除·从混乱店铺名到标准化知识库
IvorySQL17 分钟前
改变工作方式的 PostgreSQL 实用模式
数据库·postgresql
aluluka20 分钟前
Emacs折腾日记(三十六)——打造个人笔记系统
笔记·python·emacs
Anarkh_Lee22 分钟前
在VSCode中使用MCP实现智能问数
数据库·ide·vscode·ai·编辑器·ai编程·数据库开发
黎子越22 分钟前
python相关练习
java·前端·python
晓131326 分钟前
第八章:Redis底层原理深度详细解析
数据库·redis·缓存
电商API&Tina26 分钟前
电商数据采集 API 接口 全维度解析(技术 + 商业 + 合规)
java·大数据·开发语言·数据库·人工智能·json
小白学大数据30 分钟前
实测数据:多进程、多线程、异步协程爬虫速度对比
开发语言·爬虫·python·php