处理 Excel 大量数据导入数据库是一个常见的需求。直接使用 Excel 或 Navicat 等工具的图形界面导入，在数据量很大（例如几十万行以上）时，很容易出现超时、内存溢出、卡死等问题。下面提供几种从"简单"到"专业"的完整解决方案，您可以根据数据量、技术能力和频率来选择。
核心思路
处理大量数据的核心原则是：分而治之，流式处理 。
避免一次性将整个 Excel 文件加载到内存中，而是分批读取、处理并写入数据库。
方案一：使用编程脚本（推荐，最灵活强大）
这是处理大量数据和自动化任务的最佳选择。以下是两种主流语言的实现方法。
1. Python (使用 Pandas + SQLAlchemy)
Python 在这方面有非常强大的库支持，是数据科学领域的标准工具。
优势：
- 代码简洁，开发效率高。
- 生态系统强大（Pandas 专门为数据处理而生）。
- 跨平台。
步骤：
-
安装库：
pip install pandas sqlalchemy openpyxl pymysql # 根据你的数据库选择：pymysql (MySQL), psycopg2 (PostgreSQL), cx_Oracle (Oracle) 等 -
示例代码：
import pandas as pd from sqlalchemy import create_engine def import_large_excel_to_db(excel_file_path, table_name, chunksize=50000): """ 将大型Excel文件分块导入数据库 参数: excel_file_path: Excel文件路径 table_name: 目标数据库表名 chunksize: 每次读取的行数，根据内存调整 """ # 1. 创建数据库连接引擎 # 格式：'数据库类型+驱动://用户名:密码@主机:端口/数据库名' engine = create_engine('mysql+pymysql://user:password@localhost:3306/my_database') # 2. 使用 pandas 分块读取 Excel # `openpyxl` 用于 .xlsx 格式 reader = pd.read_excel(excel_file_path, engine='openpyxl', chunksize=chunksize) # 3. 循环处理每个数据块 for i, chunk in enumerate(reader): # 可选：在这里进行数据清洗/转换 # chunk['column_name'] = chunk['column_name'].str.strip() # 将块写入数据库，if_exists='append' 表示追加到现有表 chunk.to_sql( name=table_name, con=engine, if_exists='append', # 第一次运行时如果是空表，可以用'replace' index=False # 不将DataFrame的索引写入列 ) print(f"已成功写入第 {i+1} 块数据，共 {len(chunk)} 行。") print("所有数据导入完成！") # 使用函数 if __name__ == "__main__": import_large_excel_to_db('path/to/your/large_file.xlsx', 'target_table_name', chunksize=50000)
关键点：
chunksize是核心参数，它控制每次读取和写入的数据行数。建议从 10000 到 50000 开始尝试，找到性能和内存的平衡点。if_exists参数：'fail': 如果表存在，则不执行任何操作。'replace': 在导入数据前删除并重建表。'append': 将数据追加到现有表。
- 可以在循环内
chunk上执行任何数据清洗逻辑（如处理空值、格式转换等）。
2. C# (使用 EPPlus + ADO.NET)
适合 .NET 技术栈的开发团队。
优势：
- 性能优秀，与 .NET 生态无缝集成。
步骤：
-
安装 NuGet 包：
EPPlus(用于处理 Excel)- 对应的数据库驱动（如
MySql.Data用于 MySQL）
-
示例代码：
using OfficeOpenXml; using MySql.Data.MySqlClient; // 或其他数据库的Client using System.Data; public class ExcelImporter { public static void ImportLargeExcel(string excelPath, string connectionString, string tableName) { // 设置 EPPlus 许可证上下文（社区版） ExcelPackage.LicenseContext = LicenseContext.NonCommercial; FileInfo fileInfo = new FileInfo(excelPath); using (var package = new ExcelPackage(fileInfo)) { ExcelWorksheet worksheet = package.Workbook.Worksheets[0]; // 第一个工作表 int totalRows = worksheet.Dimension.Rows; int totalCols = worksheet.Dimension.Columns; // 假设第一行是列头 int startRow = 2; // 从第二行开始（数据行） int batchSize = 50000; // 批处理大小 using (MySqlConnection connection = new MySqlConnection(connectionString)) { connection.Open(); for (int row = startRow; row <= totalRows; row += batchSize) { // 构建参数化插入SQL（更安全、高效） // 假设你的表有 Col1, Col2, Col3 列 string sql = $"INSERT INTO {tableName} (Col1, Col2, Col3) VALUES "; var parameters = new List<MySqlParameter>(); var valueStrings = new List<string>(); int endRow = Math.Min(row + batchSize - 1, totalRows); for (int currentRow = row; currentRow <= endRow; currentRow++) { // 为每一行生成参数占位符 var valuePlaceholders = new List<string>(); for (int col = 1; col <= totalCols; col++) { string paramName = $"@p{currentRow}_{col}"; valuePlaceholders.Add(paramName); parameters.Add(new MySqlParameter(paramName, worksheet.Cells[currentRow, col].Value?.ToString() ?? DBNull.Value)); } valueStrings.Add($"({string.Join(",", valuePlaceholders)})"); } sql += string.Join(",", valueStrings); using (MySqlCommand command = new MySqlCommand(sql, connection)) { command.Parameters.AddRange(parameters.ToArray()); command.ExecuteNonQuery(); } Console.WriteLine($"已导入行 {row} 到 {endRow}"); } } } Console.WriteLine("导入完成！"); } }
方案二：将 Excel 转换为中间格式再导入
如果编程方式不可行，这是一个很好的折中方案。
步骤：
-
在 Excel 中操作：
- 将 Excel 文件另存为 CSV（逗号分隔） 格式。CSV 是纯文本文件，处理起来比 Excel 快得多，占用内存少。
-
使用数据库命令行工具导入：
-
MySQL: 使用
LOAD DATA INFILE命令，速度极快。LOAD DATA LOCAL INFILE '/path/to/your/file.csv' INTO TABLE your_table FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n' IGNORE 1 ROWS; -- 忽略第一行标题 -
PostgreSQL: 使用
\copy命令。\copy your_table FROM '/path/to/your/file.csv' WITH (FORMAT csv, HEADER true);
-
优势：
- 比图形界面工具快几个数量级。
- 操作相对简单。
劣势：
- 需要手动转换文件格式。
- CSV 可能遇到编码、字段分隔符等问题。
方案三：优化图形界面工具的使用（适用于数据量不是特别大的情况）
如果数据量在几十万行，可以尝试优化传统方法。
-
分拆 Excel 文件： 将一个大文件按 10-20 万行拆分成多个小文件，然后逐个导入。
-
使用专业工具： 使用像 Navicat Premium 、HeidiSQL 等工具的数据传输/导入功能，它们通常比 phpMyAdmin 或原生 MySQL Workbench 更稳定。
-
调整设置：
-
在导入前，暂时禁用数据库的索引、外键约束和唯一性检查。导入完成后重新启用。
-- 导入前 ALTER TABLE your_table DISABLE KEYS; SET FOREIGN_KEY_CHECKS=0; SET UNIQUE_CHECKS=0; -- 执行导入 -- 导入后 ALTER TABLE your_table ENABLE KEYS; SET FOREIGN_KEY_CHECKS=1; SET UNIQUE_CHECKS=1; -
增大客户端和服务器的超时时间。
-
总结与建议
| 方案 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| Python 脚本 | 大量数据、需要清洗、自动化任务 | 最灵活、功能强大、社区支持好 | 需要编程基础 |
| C# 脚本 | 大量数据、.NET 环境、自动化任务 | 性能好、类型安全 | 需要编程基础 |
| CSV + 命令行 | 大量数据、偶尔操作、追求速度 | 速度非常快、操作相对简单 | 需格式转换、可能遇编码问题 |
| 优化图形工具 | 数据量适中（< 50万行）、非技术用户 | 无需编码、使用熟悉工具 | 不稳定、易失败、效率最低 |
最终建议：
- 如果你是开发者或愿意学习一点编程，强烈推荐使用【方案一】的 Python 脚本。 这是长期来看最节省时间、最可靠且可复用的方案。
- 如果你是非技术用户，且数据量在几十万行，可以尝试【方案三】，但要做好失败的心理准备，或者先拆分文件。
- 如果你需要频繁处理此类任务，学习【方案一】绝对是值得的。