Java 删除 Excel 重复行:整行去重、按单列和多列去重

把几次导出的订单明细合并到一张 Excel 表里,很容易碰到重复记录。有的是同一条记录导入了两遍,有的是同一件商品上午还是「待发货」,下午再导出时已经变成「已发货」。同一个订单号下还可能有多件商品,这些明细都得留着。

所以,动手删之前,先弄清楚哪些列能判断两行是不是同一条记录。下面用同一张订单明细表,演示如何在 Java 中按整行、按订单号,以及按订单号和商品编码去重,再对比三种结果。

一、添加 Maven 依赖

将下面的仓库和依赖配置加入项目的 ​​pom.xml​​ 文件中。

xml 复制代码
<repositories>
    <repository>
        <id>com.e-iceblue</id>
        <url>https://repo.e-iceblue.cn/repository/maven-public/</url>
    </repository>
</repositories>

<dependencies>
    <dependency>
        <groupId>e-iceblue</groupId>
        <artifactId>spire.xls</artifactId>
        <version>16.10.1</version>
    </dependency>
</dependencies>

二、准备订单明细表

在 ​​订单明细.xlsx​​ 的第一张工作表中录入下面的数据。第 1 行是表头,数据区域为 A1:E7。示例会删除工作表中的整行,测试时把这张明细表单独放在一张工作表里。将文件保存到程序的工作目录。下面三个示例各自读取这份原表,并将结果另存为新文件。

订单号 客户 商品编码 金额 状态
DD1001 张三 SKU-A 199 待发货
DD1001 张三 SKU-A 199 待发货
DD1001 张三 SKU-A 199 已发货
DD1001 张三 SKU-B 59 已发货
DD1002 李四 SKU-C 88 已发货
DD1002 李四 SKU-C 88 已发货

三、整行去重

如果是同一份数据被重复导入,可以直接调用 ​​sheet.removeDuplicates()​​。这个方法会比较工作表已用区域内的所有列。示例表有 A 到 E 五列,五列的值都相同,两行才算重复。

java 复制代码
import com.spire.xls.ExcelVersion;
import com.spire.xls.Workbook;
import com.spire.xls.Worksheet;

public class RemoveDuplicateRows {

    public static void main(String[] args) {
        Workbook workbook = new Workbook();
        try {
            workbook.loadFromFile("订单明细.xlsx");
            Worksheet sheet = workbook.getWorksheets().get(0);
            // 按工作表已用区域中的所有列比较整行
            sheet.removeDuplicates();

            workbook.saveToFile("订单明细_整行去重.xlsx", ExcelVersion.Version2016);
        } finally {
            workbook.dispose();
        }
    }
}

该方法会把第一行也纳入比较。示例中的表头单独占一行,与其他记录的值不同,所以会保留。如果需要明确排除表头,可以使用带范围的重载,从第 2 行开始比较。

运行后,订单 ​​DD1001​​ 的两条「待发货」记录只留一条。「已发货」的那条因为状态不同,也会保留。

四、按单列去重

如果只是想得到一份一单一行的订单清单,可以只比较 A 列的订单号。订单号相同的多行会保留第一行。

java 复制代码
import com.spire.xls.ExcelVersion;
import com.spire.xls.Workbook;
import com.spire.xls.Worksheet;

public class RemoveDuplicatesByOrderId {

    public static void main(String[] args) {
        Workbook workbook = new Workbook();
        try {
            workbook.loadFromFile("订单明细.xlsx");
            Worksheet sheet = workbook.getWorksheets().get(0);
            int lastRow = sheet.getLastRow();
            if (lastRow > 1) {
                // 跳过表头,只比较 A 列订单号
                sheet.removeDuplicates(1, 1, lastRow, 5, true, new int[]{0});
            }

            workbook.saveToFile("订单明细_按订单号去重.xlsx", ExcelVersion.Version2016);
        } finally {
            workbook.dispose();
        }
    }
}

前四个参数指定从 A1 到 E 列最后一行的区域,行号和列号从 1 开始。第五个参数 ​​true​​​ 表示第一行是表头。最后一个参数 ​​new int[]{0}​​ 表示只比较所选区域的第一列,也就是 A 列。这个列偏移从 0 开始计算。

这个示例中,DD1001 最终只留下 ​​SKU-A​​ 的第一条记录。输出中的金额也来自这条商品明细。需要保留同一订单下的不同商品时,可以用下一种写法。

五、按多列去重

如果同一笔订单中,每个商品编码只应有一条明细,就同时比较 A 列的订单号和 C 列的商品编码。只有这两列的值都相同,才会将后面出现的行视为重复。

java 复制代码
import com.spire.xls.ExcelVersion;
import com.spire.xls.Workbook;
import com.spire.xls.Worksheet;

public class RemoveDuplicatesByOrderAndSku {

    public static void main(String[] args) {
        Workbook workbook = new Workbook();
        try {
            workbook.loadFromFile("订单明细.xlsx");
            Worksheet sheet = workbook.getWorksheets().get(0);
            int lastRow = sheet.getLastRow();
            if (lastRow > 1) {
                // 跳过表头,同时比较 A 列订单号和 C 列商品编码
                sheet.removeDuplicates(1, 1, lastRow, 5, true, new int[]{0, 2});
            }

            workbook.saveToFile("订单明细_按订单号和商品编码去重.xlsx", ExcelVersion.Version2016);
        } finally {
            workbook.dispose();
        }
    }
}

​​new int[]{0, 2}​​​ 指定所选区域的第 1 列和第 3 列。执行后,DD1001 的 ​​SKU-A​​​ 和 ​​SKU-B​​ 各保留一条。同一商品允许在一笔订单中分成多条明细时,可以用订单号和明细行号作为比较列。

六、运行结果对比

三种写法都在同一份包含 6 条数据的订单表上运行,得到以下结果。条数均不含表头。

去重规则 保留条数 输出文件
比较 A 到 E 列 4 ​​订单明细_整行去重.xlsx​​
只比较订单号 2 ​​订单明细_按订单号去重.xlsx​​
比较订单号和商品编码 3 ​​订单明细_按订单号和商品编码去重.xlsx​​

怎样保留最新记录?

去重会保留先出现的记录。在示例中,按订单号和商品编码去重后,DD1001 的 ​​SKU-A​​ 保留的是「待发货」。如果原表有更新时间列,可以先按更新时间从新到旧排序,再执行去重,让最新一条排在同组数据的前面。

为什么看起来相同的订单号没有合并?

试着检查一下订单号前后有没有空格。​​DD1001​​ 和​​DD1001 ​​会被视为不同的值。遇到这种导入数据,可以先清理用于比较的列,再运行去重。

相关推荐
AI入职记1 小时前
RAG 一个请求吃掉 8 个核,chat 只要 0.16 个
后端·ai编程
aurora_zjj1 小时前
Nginx $request_length 为什么会变成负数?一次流量统计异常的源码排查
后端
旋律4141 小时前
布隆过滤器(Bloom Filter)
后端
站大爷IP1 小时前
Python的构造方法把我坑惨了,原来__new__和__init__的区别这么大
后端
Gopher_HBo1 小时前
一串裸 uint64,怎么攒成一份 pprof 文件?
后端
代码丰1 小时前
从重复点击到多实例并发:异步报表导出的五层幂等与防重设计
后端
斯维赤2 小时前
三级缓存为什么是三级?二级缓存不够吗
前端·后端·面试
Rain的Java大神之路2 小时前
把数组本身变成哈希表:原地哈希搞定 LeetCode 41「缺失的第一个正数」
java·后端·leetcode
卷无止境2 小时前
FDE全解析:把软件真正落地到客户现场的那类工程师
后端