Python爬虫(9)Python数据存储实战:基于pymysql的MySQL数据库操作详解

目录

      • 一、背景与核心价值
      • 二、pymysql核心操作详解
        • [2.1 环境准备](#2.1 环境准备)
        • [2.2 数据库连接与基础操作](#2.2 数据库连接与基础操作)
        • [2.3 事务处理与错误回滚](#2.3 事务处理与错误回滚)
        • [2.4 高级功能:批量插入与性能优化](#2.4 高级功能:批量插入与性能优化)
      • 三、pymysql进阶技巧
        • [3.1 连接池管理(推荐使用DBUtils)](#3.1 连接池管理(推荐使用DBUtils))
        • [3.2 SQL注入防御](#3.2 SQL注入防御)
        • [3.3 与ORM框架对比](#3.3 与ORM框架对比)
      • 四、总结与最佳实践
        • [4.1 技术选型建议‌:](#4.1 技术选型建议‌:)
        • [4‌.2 性能优化方向‌:](#4‌.2 性能优化方向‌:)
        • [4.3 避坑指南‌:](#4.3 避坑指南‌:)
        • Python爬虫相关文章(推荐)

一、背景与核心价值

在数据驱动的互联网时代,数据存储技术是构建应用系统的基石。文件存储(如TXT/CSV)适合简单场景,但面临并发性差、查询效率低等问题。‌MySQL作为关系型数据库的典型代表‌ ,凭借其开源、高性能、事务支持等特性,成为Web应用、数据分析等领域的主流存储方案。

‌为什么选择pymysql?‌

作为Python连接MySQL的轻量级库,pymysql提供纯Python实现,兼容MySQLdb API,支持Python 3.x,规避了旧库的环境依赖问题,是Python开发者操作MySQL的首选工具。

二、pymysql核心操作详解

2.1 环境准备
python 复制代码
# 安装pymysql(需提前安装MySQL服务)
pip install pymysql
2.2 数据库连接与基础操作
python 复制代码
import pymysql

# 建立数据库连接
conn = pymysql.connect(
    host='localhost',
    user='root',
    password='your_password',
    database='test_db',
    charset='utf8mb4',
    cursorclass=pymysql.cursors.DictCursor  # 返回字典格式数据
)

try:
    with conn.cursor() as cursor:
        # 创建数据表
        sql_create = """
        CREATE TABLE IF NOT EXISTS users (
            id INT AUTO_INCREMENT PRIMARY KEY,
            name VARCHAR(50) NOT NULL,
            email VARCHAR(100) UNIQUE
        )
        """
        cursor.execute(sql_create)
        
        # 插入数据(参数化查询防止SQL注入)
        sql_insert = "INSERT INTO users (name, email) VALUES (%s, %s)"
        cursor.execute(sql_insert, ('Alice', 'alice@example.com'))
    
    # 提交事务
    conn.commit()
    
    # 查询数据
    with conn.cursor() as cursor:
        sql_select = "SELECT * FROM users WHERE name = %s"
        cursor.execute(sql_select, ('Alice',))
        result = cursor.fetchone()
        print(result)  # 输出:{'id': 1, 'name': 'Alice', 'email': 'alice@example.com'}

finally:
    conn.close()  # 关闭连接
2.3 事务处理与错误回滚
python 复制代码
try:
    conn.begin()  # 显式开启事务
    # 执行多个操作...
    conn.commit()
except Exception as e:
    conn.rollback()  # 发生错误时回滚
    print(f"操作失败: {e}")
2.4 高级功能:批量插入与性能优化
python 复制代码
data = [('Bob', 'bob@test.com'), ('Charlie', 'charlie@test.com')]
sql = "INSERT INTO users (name, email) VALUES (%s, %s)"
with conn.cursor() as cursor:
    cursor.executemany(sql, data)  # 批量插入提升效率
conn.commit()

三、pymysql进阶技巧

3.1 连接池管理(推荐使用DBUtils)
python 复制代码
from dbutils.pooled_db import PooledDB

pool = PooledDB(
    creator=pymysql,
    host='localhost',
    user='root',
    password='your_password',
    database='test_db',
    maxconnections=10  # 控制并发连接数
)
3.2 SQL注入防御
  • 必须使用参数化查询‌(如%s占位符),避免直接拼接SQL字符串。
3.3 与ORM框架对比
场景 说明
配置文件存储 程序参数、路径配置等(如config.json)
API数据交互 前后端通过JSON格式传递请求与响应
结构化日志记录 记录带元数据的操作日志,便于后续分析

四、总结与最佳实践

4.1 技术选型建议‌:
  1. 小型项目或需要精细控制SQL时,pymysql是轻量高效的解决方案
  2. 中大型项目建议结合ORM框架(如SQLAlchemy)提升开发效率
4‌.2 性能优化方向‌:
  1. 使用连接池减少连接开销
  2. 批量操作代替单条提交
  3. 合理设计索引提升查询速度
4.3 避坑指南‌:
  1. 始终在finally块中关闭连接
  2. 生产环境避免使用root账户
  3. 定期备份数据库并监控慢查询日志
Python爬虫相关文章(推荐)
Python爬虫介绍 Python爬虫(1)Python爬虫:从原理到实战,一文掌握数据采集核心技术
HTTP协议解析 Python爬虫(2)Python爬虫入门:从HTTP协议解析到豆瓣电影数据抓取实战
HTML核心技巧 Python爬虫(3)HTML核心技巧:从零掌握class与id选择器,精准定位网页元素
CSS核心机制 Python爬虫(4)CSS核心机制:全面解析选择器分类、用法与实战应用
静态页面抓取实战 Python爬虫(5)静态页面抓取实战:requests库请求头配置与反反爬策略详解
静态页面解析实战 Python爬虫(6)静态页面解析实战:BeautifulSoup与lxml(XPath)高效提取数据指南
Python数据存储实战 CSV文件 Python爬虫(7)Python数据存储实战:CSV文件读写与复杂数据处理指南
Python数据存储实战 JSON文件 Python爬虫(8)Python数据存储实战:JSON文件读写与复杂结构化数据处理指南
相关推荐
云天徽上25 分钟前
【数据可视化-107】2025年1-7月全国出口总额Top 10省市数据分析:用Python和Pyecharts打造炫酷可视化大屏
开发语言·python·信息可视化·数据挖掘·数据分析·pyecharts
THMAIL32 分钟前
机器学习从入门到精通 - 数据预处理实战秘籍:清洗、转换与特征工程入门
人工智能·python·算法·机器学习·数据挖掘·逻辑回归
@HNUSTer39 分钟前
Python数据可视化科技图表绘制系列教程(六)
python·数据可视化·科技论文·专业制图·科研图表
stein_java1 小时前
Mybatis-7 XML映射器
数据库·sql·mybatis
THMAIL1 小时前
深度学习从入门到精通 - AutoML与神经网络搜索(NAS):自动化模型设计未来
人工智能·python·深度学习·神经网络·算法·机器学习·逻辑回归
xhbh6662 小时前
开发效率翻倍:资深DBA都在用的MySQL客户端利器
数据库·mysql·数据库连接工具·mysql 连接工具
LJC_Superman2 小时前
Web与Nginx网站服务
运维·服务器·前端·网络·数据库·nginx·vim
java水泥工2 小时前
校园管理系统|基于SpringBoot和Vue的校园管理系统(源码+数据库+文档)
数据库·vue.js·spring boot
山烛2 小时前
深度学习:残差网络ResNet与迁移学习
人工智能·python·深度学习·残差网络·resnet·迁移学习
eleqi2 小时前
Python+DRVT 从外部调用 Revit:批量创建梁(2)
python·系统集成·revit·自动化生产流水线·外部访问