将爬虫数据写入数据库

复制代码
1. 在Linux机器上安装和配置好数据库
    安装:yum install mariadb-server -y
        mysql
    配置:防火墙(启用) -> 规则 (允许/禁止ip,port,协议) -> 关掉
         阿里云/腾讯云 -> 安全组
         应用授权 -> python(主机)连接 mysql(主机/用户名/密码)

2.

sys => root => 123456
mysql -uroot -p => db123456
权限远程访问 => root/123456
在xshell端命令
 mysql -uroot -p
show databases;
use mysql;
GRANT ALL PRIVILEGES ON *.* to 'root'@'%' IDENTIFIED BY "123456";
 FLUSH PRIVILEGES;
SELECT user,host FROM user;

python操作数据库的模块
      PyMySQL
      SQLALCHEMY(更高级->支持MySQL及其他数据,支持MySQL依赖于PyMySQL)
         ORM => 对象关系映射
在pycharm打开数据库进行连接 然后再此进行操作
"""

# pip install Pymysql

要现在虚拟机连接数据库并创建 create database pachong;

演示从豆瓣网爬取电影信息 并保存到MySQL中

python 复制代码
import pymysql
import json
import download
# 创建数据库连接
db = pymysql.connect(host="192.168.159.142",
                     port=3306,
                     user="root",
                     password="123456",
                     db="pachong",
                     charset='utf8mb4')
# 创建游标(执行)
cursor = db.cursor()
# 执行sql语句:execute(sql)
sql = "DROP TABLE IF EXISTS movies"
cursor.execute(sql)
sql = """CREATE TABLE movies( 
        title CHAR(50) CHARACTER SET utf8mb4 NOT NULL ,
        rate CHAR(20),
        cover CHAR(200));
      """
cursor.execute(sql)
# name = ["热门","最新","豆瓣高分","冷门佳片","华语","欧美","韩国","日本"]DECIMAL(3, 1)
name = ["热门"]
for i in name:
    all_movies = download.get_text(f"https://movie.douban.com/j/search_subjects?type=movie&tag={i}&page_limit=50&page_start=0")
    all_movies_obj = json.loads(all_movies)
    for movie in all_movies_obj["subjects"]:
        sql = "INSERT INTO movies (title, rate, cover) VALUES (%s, %s, %s)"
        data = (movie['title'], movie['rate'], movie['cover'])
        cursor.execute(sql, data)
db.commit()
python 复制代码
# # 增删改查
# sql = "INSERT INTO app(id,name) VALUES(1,'嘻嘻嘻');"
# cursor.execute(sql)
# sql = "INSERT INTO app(id,name) VALUES (%s,%s)"
# datas = [(2,'咯咯咯'),(3,'嗯嗯嗯'),(4,'哈哈哈')]
# cursor.executemany(sql,datas)
# print(1)
#
# # 查询
# sql = "SELECT * FROM app;"
# cursor.execute(sql)
# result = cursor.execute(sql)
# print(result)
# result = cursor.fetchone()
# print(result)
# result = cursor.fetchmany(2)
# print(result)
# result = cursor.fetchall()
# print(result)
# # 更新
# sql = "UPDATE app SET name='李琳' WHERE id=1"
# cursor.execute(sql)
#
# sql = "DELETE FROM app WHERE name like '嘻%'"
# cursor.execute(sql)
# result = cursor.execute(sql)
# print(result)
# db.commit()# 提交修改到数据库
相关推荐
muspi_merol4 分钟前
Python 启动钩子:.pth 文件的神奇用法✨
python
泽安AI研习社28 分钟前
Cursor用户集体倒戈 !这14招让你榨干Claude Code【建议收藏】
人工智能·python
liliangcsdn1 小时前
mac mlx大模型框架的安装和使用
java·前端·人工智能·python·macos
香蕉可乐荷包蛋1 小时前
Python学习之路(十三)-常用函数的使用,及优化
开发语言·python·学习
惜.己1 小时前
使用python的读取xml文件,简单的处理成元组数组
xml·开发语言·python·测试工具
缘来如此҉1 小时前
Mysql数据库——增删改查CRUD
数据库·mysql·oracle
倔强青铜三1 小时前
苦练Python第25天:玩转字典
人工智能·python·面试
倔强青铜三1 小时前
苦练Python第23天:元组秘籍与妙用
人工智能·python·面试
apihz1 小时前
域名WHOIS信息查询免费API使用指南
android·开发语言·数据库·网络协议·tcp/ip
gwcgwcjava2 小时前
[时序数据库-iotdb]时序数据库iotdb的安装部署
数据库·时序数据库·iotdb