数据去重：通过 C# 删除 Excel 中的重复行

在日常数据处理中，Excel 表格中的重复行是一个常见问题。无论是数据清洗、报表生成还是数据分析，去除重复记录都是一项基础且关键的操作。本文将详细介绍如何使用 Free Spire.XLS for .NET（一款免费、无需安装 Microsoft Office 的 Excel 操作组件），通过 C# 代码以编程方式删除 Excel 工作表中的重复行。

实现思路

删除重复行的核心逻辑如下：

1. 指定关键列：确定用于判断重复的列（例如第一列 A 列）。
2. 分组识别：遍历数据区域，根据关键列的值对每一行进行分组。
3. 标记重复行：在每个分组中，保留第一次出现的行（索引最小），将其余行的行号记录下来。
4. 安全删除：按照行号从大到小的顺序删除这些重复行，避免因删除操作导致的索引错位。

详细步骤解析

1. 安装免费库

在编写代码之前，通过 NuGet 安装所需的免费库：

Install-Package FreeSpire.XLS

或者在 Visual Studio 的"管理 NuGet 程序包"中搜索 FreeSpire.XLS 并安装。

注意：免费版提供了大部分基础功能，足以应对中小规模数据的处理需求。

2. 加载工作簿和工作表

using Spire.Xls;
using System.Linq;

// 创建 Workbook 实例并加载文档
Workbook workbook = new Workbook();
workbook.LoadFromFile("Test.xlsx");

// 获取第一个工作表
Worksheet sheet = workbook.Worksheets[0];

3. 确定数据范围

为了仅对实际存在数据的行进行操作，我们使用工作表的 LastRow 属性获取最后有效行号，并构造一个从 A1 到 A 列最后一行的范围（例如 A1:A100）。实际使用时，可以根据需要调整起始行，例如跳过标题行。

// 假设数据从第1行开始，以 A 列作为判重依据
string rangeAddress = $"A1:A{sheet.LastRow}";
var range = sheet.Range[rangeAddress];

4. 找出需要删除的重复行号

利用 LINQ 对范围内的每一行进行分组。DisplayedText 属性返回单元格在 Excel 界面上的显示文本（会考虑格式、公式计算结果等），相比直接使用 Value 或 Text 更为可靠。

var duplicatedRows = range.Rows
    .GroupBy(row => row.Columns[0].DisplayedText)   // 按第一列的显示文本分组
    .Where(group => group.Count() > 1)             // 只筛选存在重复的分组
    .SelectMany(group => group.Skip(1))            // 跳过每组的第一行（保留行），取其余重复行
    .Select(row => row.Columns[0].Row)             // 获取这些行的行号
    .ToList();

• Range.Rows 返回范围内的所有行对象。
• GroupBy 根据 A 列的显示文本对行进行分组。
• Skip(1) 忽略每个分组中的第一行（即保留的那一行）。
• 最终得到 List<int>，其中包含所有待删除行的行号（升序排列）。

5. 删除重复行

关键点 ：如果直接按照升序的行号顺序删除，会导致后续行号发生偏移。正确的做法是从后往前删除，这样可以保证每次删除时行号仍然准确。

// 将行号降序排列，然后逐个删除
foreach (int rowNum in duplicatedRows.OrderByDescending(r => r))
{
    sheet.DeleteRow(rowNum);
}

也可以使用索引修正法：sheet.DeleteRow(duplicatedRows[i] - i)，两种方法效果相同，但从后往前删除的逻辑更为直观。

6. 保存结果

workbook.SaveToFile("RemoveDuplicateRows.xlsx", ExcelVersion.Version2016);

默认保存为 .xlsx 格式，也可以指定为 .xls 或其他 Excel 版本。

完整代码示例

将以上步骤整合为一个完整的控制台应用程序（包含资源释放建议）：

using Spire.Xls;
using System.Linq;

namespace RemoveDuplicateRows
{
    class Program
    {
        static void Main(string[] args)
        {
            // 使用 using 语句确保资源被正确释放
            using (Workbook workbook = new Workbook())
            {
                // 加载文档
                workbook.LoadFromFile("Test.xlsx");

                // 获取第一个工作表
                Worksheet sheet = workbook.Worksheets[0];

                // 定义判重范围（A列，从第1行到最后有效行）
                var range = sheet.Range[$"A1:A{sheet.LastRow}"];

                // 获取需要删除的重复行号
                var duplicatedRows = range.Rows
                    .GroupBy(x => x.Columns[0].DisplayedText)
                    .Where(x => x.Count() > 1)
                    .SelectMany(x => x.Skip(1))
                    .Select(x => x.Columns[0].Row)
                    .ToList();

                // 从后向前删除重复行，避免索引错乱
                foreach (int rowNum in duplicatedRows.OrderByDescending(r => r))
                {
                    sheet.DeleteRow(rowNum);
                }

                // 保存结果
                workbook.SaveToFile("RemoveDuplicateRows.xlsx");
            }
        }
    }
}

关键点与注意事项

1. 判断重复的依据列

上面的代码仅基于 A 列进行判重。如果需要根据多列组合（例如 A 列和 B 列同时相同才算重复），只需修改 GroupBy 的键：

.GroupBy(row => new 
{ 
    Col1 = row.Columns[0].DisplayedText, 
    Col2 = row.Columns[1].DisplayedText 
})

2. 保留表头（标题行）

如果第一行是标题行，不应参与重复判断和删除。只需将范围的起始行改为第 2 行：

var range = sheet.Range[$"A2:A{sheet.LastRow}"];

同时，LastRow 属性会自动包含最后一行数据，因此标题行不受影响。删除重复行后，表头行将保持不变。

3. DisplayedText 与 Value 的区别

属性	说明	推荐场景
DisplayedText	返回单元格在 Excel 界面上显示的内容，考虑了数字格式、日期格式、公式等	业务上的重复判断（推荐）
Value	返回原始值（公式计算结果，但可能忽略显示格式）	需要精确原始值的场景

在简单文本情况下两者结果一致，但推荐使用 DisplayedText 以避免因格式差异导致的误判。

4. 内存与资源释放

Workbook 类实现了 IDisposable 接口，强烈建议使用 using 语句或手动调用 Dispose() 方法，以避免内存泄漏，尤其是在处理大型文件时。

---

本文演示了使用 C# 删除 Excel 重复行的完整流程，包括加载文件、识别重复行、删除行以及保存结果。该方法灵活可定制，支持单列或多列判重，能够无缝集成到数据清洗的自动化流程中。