如何将excel数据快速导入数据库

最近老是收到一些手工数据,并且需要关联分析,就想到如何快速将数据导入数据库后关联查询输出结果,下面是一段将excel数据写入mysql的脚本,欢迎大家提出优化意见相互学习。

python 复制代码
import os
import pandas as pd
import pymysql
import numpy as np
from dotenv import load_dotenv, find_dotenv

# ✅ 加载 config.env 文件
env_path = find_dotenv(filename="config.env")
if not env_path:
    raise FileNotFoundError("❌ 未找到 config.env 文件,请确保它与脚本在同一目录下")
load_dotenv(env_path)

# ✅ 获取环境变量
excel_path = os.getenv("EXCEL_PATH")
db_host = os.getenv("DB_HOST")
db_user = os.getenv("DB_USER")
db_password = os.getenv("DB_PASSWORD")
db_name = os.getenv("DB_NAME")
table_name = os.getenv("DB_TABLE")

# ✅ 打印调试信息(可注释)
print("📄 Excel 路径:", excel_path)
print("📦 数据库:", db_name, "| 表名:", table_name)

# ✅ 检查路径是否存在
if not excel_path or not os.path.exists(excel_path):
    raise ValueError("❌ Excel 路径无效,请检查 EXCEL_PATH 配置和文件是否存在")

# ✅ 读取 Excel 文件
df = pd.read_excel(excel_path)
print(f"✅ 成功读取 Excel,共 {len(df)} 行")

# ✅ 替换 NaN 和 NaT 为 None,确保兼容 pymysql
df = df.replace({np.nan: None, pd.NaT: None})
# 或者:df = df.applymap(lambda x: None if pd.isna(x) else x)

# ✅ 连接 MySQL 数据库
conn = pymysql.connect(
    host=db_host,
    user=db_user,
    password=db_password,
    database=db_name,
    charset='utf8mb4'
)
cursor = conn.cursor()

# ✅ 构造 INSERT SQL
cols = ",".join([f"`{col}`" for col in df.columns])
placeholders = ",".join(["%s"] * len(df.columns))
insert_sql = f"INSERT INTO `{table_name}` ({cols}) VALUES ({placeholders})"

# ✅ 插入数据
try:
    cursor.executemany(insert_sql, df.values.tolist())
    conn.commit()
    print(f"✅ 成功插入 {cursor.rowcount} 行数据到表 `{table_name}`")
except Exception as e:
    conn.rollback()
    print("❌ 插入数据失败:", str(e))

    # 可选:定位第几行出错(调试用)
    for i, row in enumerate(df.values.tolist()):
        try:
            cursor.execute(insert_sql, row)
        except Exception as err:
            print(f"⚠️ 第 {i} 行插入失败:{err}")
            print("🧪 数据内容:", row)
            break
finally:
    cursor.close()
    conn.close()
    print("🔚 数据库连接已关闭")
相关推荐
龙腾AI白云21 分钟前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
ClouGence31 分钟前
DBeaver太重,Navicat付费?试试这4款好用的开源数据库管理工具!
数据库·开源
字节跳动数据库1 小时前
火山引擎缓存数据库:如何构建超大规模缓存集群的无感弹性能力
数据库·人工智能·后端
SelectDB1 小时前
多模态检索用什么数据库?向量、全文与 SQL 混合检索选型指南
数据库
旋风菠萝2 小时前
HashMap和CurrentHashMap的key可以为空吗
java·数据库·redis
隔窗听雨眠4 小时前
数据管理系统弹性调度的资源模型与实战路径
数据库·分布式系统·弹性调度
Nturmoils4 小时前
数据库选型 POC:订单系统怎么验收候选
数据库
CoderYanger6 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第一弹)
java·数据库·spring·面试·java-ee·tomcat·mybatis
用户0332126663679 小时前
使用 Python 删除 Excel 中的空白行或空白列
python·excel
隔窗听雨眠19 小时前
SQL执行计划固化的原理与稳定性工程
数据库·sql优化·执行计划