easyexcel读文件入批量入es

  1. 封装实体类,并对应excel表中的列

    @Data
    public class User {

    复制代码
     private String md5;
    
     private String id; 
     @ExcelProperty(value = "age")
     private String age;
     @ExcelProperty(value = "username")
     private String name;

    }

  2. 批量入库

    复制代码
    private void insertBatchToES(List<User> dataList, String indexName) {
         try {
             BulkProcessor bulkProcessor = BulkProcessor.builder(
                     (request, bulkListener) -> elasticsearchClient.bulkAsync(request, RequestOptions.DEFAULT, bulkListener),
                     new BulkProcessor.Listener() {
    
                         @Override
                         public void beforeBulk(long executionId, org.elasticsearch.action.bulk.BulkRequest request) {
                             // 准备执行前的操作
                         }
    
                         @Override
                         public void afterBulk(long executionId, org.elasticsearch.action.bulk.BulkRequest request, org.elasticsearch.action.bulk.BulkResponse response) {
                             if (response != null) {
                                 int insertedCount = request.numberOfActions(); // 获取请求中操作的数量,即插入的条数
                                 log.info("批量插入 " + insertedCount + " 条数据成功");
                             }
                         }
    
                         @Override
                         public void afterBulk(long executionId, org.elasticsearch.action.bulk.BulkRequest request, Throwable failure) {
                             log.info("批量插入 error");
                         }
                     })
                     // 设置每1000个请求执行一次批处理
                     .setBulkActions(500)
                     .build();
    
    
    
             for(User user : dataList) {
                 String jsonString = convertToJson(user);
                 IndexRequest indexRequest = new IndexRequest(indexName)
                         .id(user.getId())
                         .source(jsonString, XContentType.JSON);
                 bulkProcessor.add(indexRequest);
             }
             bulkProcessor.awaitClose(10, TimeUnit.MINUTES);
             bulkProcessor.close();
    
         } catch (InterruptedException | JsonProcessingException e) {
             e.printStackTrace();
         }
     } 

将对象转json工具类:

复制代码
 public String convertToJson(user) throws JsonProcessingException {
        String objStr = JSON.toJSONString(user, SerializerFeature.WriteNullListAsEmpty, SerializerFeature.WriteNullNumberAsZero,
                SerializerFeature.WriteNullStringAsEmpty, SerializerFeature.NotWriteDefaultValue);

        return objStr;
    }
  1. 读指定文件excel , 封装List

    public void importExcelToES(String excelFilePath, String indexName) {
    try {
    EasyExcel.read(excelFilePath, User.class, new AnalysisEventListener() {
    private List dataList = new ArrayList<>();

    复制代码
                 @Override
                 public void invoke(UserFansExcel data, AnalysisContext analysisContext) {
                     long id = generator.nextId();
                     data.setId(String.valueOf(id));
                   
                    
                     if (dataList.size() >= 500) {
                         insertBatchToES(filteredList, indexName);
                         dataList.clear();
                     }
                 }
    
                 @Override
                 public void doAfterAllAnalysed(AnalysisContext analysisContext) {
                     if (!dataList.isEmpty()) {
                         insertBatchToES(dataList, indexName);
                     }
                 }
             }).sheet().doRead();
         } catch (Exception e) {
             e.printStackTrace();
         }

3.1 读执行目录下的所有excel文件,这些文件的格式是一样的

复制代码
public void readExcelFilesFromDirectory(String directoryPath) throws IOException {
        List<User> dataList = new ArrayList<>();
        File dir = new File(directoryPath);
        File[] files = dir.listFiles((d, name) -> name.endsWith(".xlsx"));

        if (files != null) {
            for (File file : files) {
                System.out.println(file.getName());
                try {
                    String primaryUserId = file.getName().replace(".xlsx", "");
                    try (FileInputStream fis = new FileInputStream(file)) {
                        EasyExcel.read(fis, User.class, new AnalysisEventListener<User>() {


                            @Override
                            public void invoke(User data, AnalysisContext context) {
                                data.setName(primaryUserId);
                               
                                dataList.add(data);
                            }

                            @Override
                            public void doAfterAllAnalysed(AnalysisContext analysisContext) {

                            }



                        }).sheet().doRead();
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }

           if(dataList.size() >0){
              //这里可以插入数据库
               dataList.clear();
           }

            }
        }
        
    }
相关推荐
大胖爱学习_MJ2 小时前
超越向量检索:用 Spring Boot + Neo4j 手搓 GraphRAG 知识图谱记忆
java·后端·python
吃我一窝jio2 小时前
Java博客极简写作三支柱
java
知识搬运临时工2 小时前
双路服务器跑得比单路慢:JVM 没看见内存的距离
java·后端
吃我一窝jio3 小时前
Java Bug复盘与性能优化实战
java·开发语言·笔记
Flynn Liang3 小时前
Java 序列化也能成为瓶颈:Jackson、Protobuf 与 Redis 序列化的生产实践
java·redis·性能优化·jackson·序列化·protobuf
Yeats_Liao3 小时前
物联网平台优化系列(三):全局懒加载吞掉 MQTT 初始化
java·物联网·struts
千寻技术帮3 小时前
基于Spring Boot+Vue的农产品销售管理系统(源码+文档+数据库,附部署教程)
java·数据库·spring boot·后端·mysql·vue
好用斋3 小时前
拾光坞G2使用新版Docker懒人包:一键安装、一键升级、一键卸载
java·docker·容器
码云社区4 小时前
Spring Boot陪诊陪护系统源码:医院目录、服务项目与城市业务配置
java·spring boot·后端·陪诊陪护·医院陪诊·医院陪护·陪护小程序
CoderYanger5 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第七弹):图书管理系统(强制登录)
java·数据库·spring boot·spring·java-ee·tomcat·mybatis