Java开发中对List<Map<String, Object>>集合去重并按大小拆分子列表

Java开发中对List< Map< String, Object > >集合去重并按大小拆分子列表

一、使用场景

在处理大量List<Map<String, Object>>集合的数据时,为确保数据的唯一性,需要先根据Map的某个唯一标识进行去重,然后将去重后的数据切分成较小的子列表进行分组处理。

二、实现步骤

  1. 去重:通过将列表中的数据转换为Map,利用Map的键唯一性,去除重复的元素。同时,通过保留第一个出现的元素,可以确保数据的顺序。
  2. 切分:将去重后的列表按照指定大小进行切分,方便进行批量处理或分布式处理。

三、相关知识

  1. Java 8 Stream API:提供了一种函数式编程风格的处理集合数据的方式,可以进行过滤、映射、排序、聚合等操作,大大提高了代码的可读性和简洁性。

  2. Collectors工具类 :提供了各种收集器,用于对 Stream 中的元素进行收集和汇总操作,如toMaptoList等。

  3. hutool 工具类 :使用工具类中的ListUtil.split(list, size)方法,将列表切分为指定大小的子列表。

四、代码示例

java 复制代码
public static void main(String[] args) {
    List<Map<String, Object>> list = new ArrayList<>();
    list.add(Map.of("id", 1, "date", "2024-01-01"));
    list.add(Map.of("id", 2, "date", "2024-01-02"));
    list.add(Map.of("id", 3, "date", "2024-01-03"));
    list.add(Map.of("id", 3, "date", "2024-01-04"));
    list.add(Map.of("id", 4, "date", "2024-01-05"));
    list.add(Map.of("id", 3, "date", "2024-01-06"));
    list.add(Map.of("id", 5, "date", "2024-01-07"));
    List<List<Map<String, Object>>> split = getLists(list);
    System.out.println(split);
}

private static List<List<Map<String, Object>>> getLists(List<Map<String, Object>> list) {
    // 去重
    List<Map<String, Object>> resultList = new ArrayList<>(list.stream()
           .collect(Collectors.toMap(
                    map -> map.get("id"), // key 为 id
                    map -> map, // value 为整个 Map
                    (existing, replacement) -> existing, // 如果有重复的 id,保留第一个出现的
                    LinkedHashMap::new // 保持顺序
            )).values());
    // 切分为 100 条一组
    return ListUtil.split(resultList, 100);
}
相关推荐
麦兜*28 分钟前
Spring Boot 集成Reactive Web 性能优化全栈技术方案,包含底层原理、压测方法论、参数调优
java·前端·spring boot·spring·spring cloud·性能优化·maven
天上掉下来个程小白31 分钟前
MybatisPlus-06.核心功能-自定义SQL
java·spring boot·后端·sql·微服务·mybatisplus
知了一笑38 分钟前
独立开发第二周:构建、执行、规划
java·前端·后端
今天背单词了吗9801 小时前
算法学习笔记:17.蒙特卡洛算法 ——从原理到实战,涵盖 LeetCode 与考研 408 例题
java·笔记·考研·算法·蒙特卡洛算法
Dcs1 小时前
从 C 到 Rust:一位开发者的 `tmux` 全面移植之旅
java
Maybyy2 小时前
力扣242.有效的字母异位词
java·javascript·leetcode
小小寂寞的城3 小时前
JAVA观察者模式demo【设计模式系列】
java·观察者模式·设计模式
探索java3 小时前
Java并发编程中的StampedLock详解:原理、实践与性能优化
java·stampedlock
界面开发小八哥3 小时前
「Java EE开发指南」如何用MyEclipse将Java项目转换为Web项目?
java·ide·java-ee·eclipse·开发工具·myeclipse
pobu1684 小时前
aksk前端签名实现
java·前端·javascript