爬虫不仅可以将数据写入csv text json...里也可以写进数据库,今天就来学习一下最基本的写入mysql数据库,先下载pymysql(其他库也行,但是操作不同):
python
pip install pymysql
连接数据库
我们需要先与mysql建立连接:
python
import pymysql
conn = pymysql.connect(
host='localhost', # 连接的ip 这里是本地170.0.0.1
user='root', # 权限
password=f'{password}', # 数据库密码
database='dachuang', # 数据库名字
port=3306, # 端口
charset='utf8mb4' # 数据编码
)
# 创建游标对象
cursor = conn.cursor()
然后开始做一些中间操作,比如爬取数据
sql语句执行:
python
# 书写sql
sql_code = f'''
CREATE TABLE IF NOT EXISTS {class_type} (
id INT AUTO_INCREMENT PRIMARY KEY,
title VARCHAR(255) NOT NULL,
url VARCHAR(512) NOT NULL,
description TEXT,
author VARCHAR(100) NOT NULL,
cover_image VARCHAR(512)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
'''
cursor.execute(sql_code) # 执行sql
insert_sql = f'''
INSERT INTO {class_type} (title, url, description, author, cover_image)
VALUES ("{title}", "{url}", "{description}", "{author}", "{cover_image}");
'''
cursor.execute(insert_sql)
提交事务和回收资源
python
conn.commit() # 提交事务
# 先关闭游标,在关闭连接
cursor.close()
conn.close()
步骤总结
下面再总结一下步骤:
- 导包
- 创建连接
- 创建游标对象
- ----------------中间操作
- 写sql语句
- 执行sql
- 提交事务
- 回收资源(关闭游标再关闭连接)
小结
基本知道这些即可,这是最基础的,后面随用随查即可,如文章有什么问题请及时提出,加油加油