如何将excel数据快速导入数据库

最近老是收到一些手工数据,并且需要关联分析,就想到如何快速将数据导入数据库后关联查询输出结果,下面是一段将excel数据写入mysql的脚本,欢迎大家提出优化意见相互学习。

python 复制代码
import os
import pandas as pd
import pymysql
import numpy as np
from dotenv import load_dotenv, find_dotenv

# ✅ 加载 config.env 文件
env_path = find_dotenv(filename="config.env")
if not env_path:
    raise FileNotFoundError("❌ 未找到 config.env 文件,请确保它与脚本在同一目录下")
load_dotenv(env_path)

# ✅ 获取环境变量
excel_path = os.getenv("EXCEL_PATH")
db_host = os.getenv("DB_HOST")
db_user = os.getenv("DB_USER")
db_password = os.getenv("DB_PASSWORD")
db_name = os.getenv("DB_NAME")
table_name = os.getenv("DB_TABLE")

# ✅ 打印调试信息(可注释)
print("📄 Excel 路径:", excel_path)
print("📦 数据库:", db_name, "| 表名:", table_name)

# ✅ 检查路径是否存在
if not excel_path or not os.path.exists(excel_path):
    raise ValueError("❌ Excel 路径无效,请检查 EXCEL_PATH 配置和文件是否存在")

# ✅ 读取 Excel 文件
df = pd.read_excel(excel_path)
print(f"✅ 成功读取 Excel,共 {len(df)} 行")

# ✅ 替换 NaN 和 NaT 为 None,确保兼容 pymysql
df = df.replace({np.nan: None, pd.NaT: None})
# 或者:df = df.applymap(lambda x: None if pd.isna(x) else x)

# ✅ 连接 MySQL 数据库
conn = pymysql.connect(
    host=db_host,
    user=db_user,
    password=db_password,
    database=db_name,
    charset='utf8mb4'
)
cursor = conn.cursor()

# ✅ 构造 INSERT SQL
cols = ",".join([f"`{col}`" for col in df.columns])
placeholders = ",".join(["%s"] * len(df.columns))
insert_sql = f"INSERT INTO `{table_name}` ({cols}) VALUES ({placeholders})"

# ✅ 插入数据
try:
    cursor.executemany(insert_sql, df.values.tolist())
    conn.commit()
    print(f"✅ 成功插入 {cursor.rowcount} 行数据到表 `{table_name}`")
except Exception as e:
    conn.rollback()
    print("❌ 插入数据失败:", str(e))

    # 可选:定位第几行出错(调试用)
    for i, row in enumerate(df.values.tolist()):
        try:
            cursor.execute(insert_sql, row)
        except Exception as err:
            print(f"⚠️ 第 {i} 行插入失败:{err}")
            print("🧪 数据内容:", row)
            break
finally:
    cursor.close()
    conn.close()
    print("🔚 数据库连接已关闭")
相关推荐
柊二三10 分钟前
关于项目的一些完善功能
java·数据库·后端·spring
数据狐(DataFox)14 分钟前
外键列索引优化:加速JOIN查询的关键
数据库
码界奇点20 分钟前
Python深度挖掘:openpyxl与pandas高效数据处理实战指南
开发语言·数据库·python·自动化·pandas·python3.11
Python大数据分析@29 分钟前
SQL 怎么学?
数据库·sql·oracle
我今晚不熬夜1 小时前
Excel文件解析
excel
飞翔的佩奇1 小时前
Java项目:基于SSM框架实现的济南旅游网站管理系统【ssm+B/S架构+源码+数据库+毕业论文+远程部署】
java·数据库·mysql·毕业设计·ssm·旅游·毕业论文
rannn_1111 小时前
【MySQL学习|黑马笔记|Day3】多表查询(多表关系、内连接、外连接、自连接、联合查询、子查询),事务(简介、操作、四大体系、并发事务问题、事务隔离级别)
数据库·笔记·后端·学习·mysql
开开心心就好2 小时前
PDF转图片工具,一键转换高清无损
服务器·前端·智能手机·r语言·pdf·excel·batch
小云数据库服务专线2 小时前
GaussDB 约束的语法
数据库·sql·gaussdb
IT邦德2 小时前
少林寺用什么数据库?
数据库