Java集成esProc 集算器实现联查CSV文件获取结果集

概述

将csv文件数据以类似表关联方式联查,然后获取查询的结果集数据做进一步处理,比如入库等操作。

环境及主要软件版本说明

一、准备工作

1.准备两个csv文件

2.配置及jar依赖

集算器解压后需要如下:

  • config目录中 raqsoftConfig.xml 文件(注释掉了customFunctionFile所在标签行)
  • lib目录中 esproc-20250313.jar、icu4j-60.3.jar(将jar放入项目lib目录中引用即可)

二、编写java程序进行预处理

pom 文件

xml 复制代码
<dependency>
    <groupId>com.esproc</groupId>
    <artifactId>esproc-bin</artifactId>
    <version>1.0</version>
    <scope>system</scope>
    <systemPath>${project.basedir}/lib/esproc-20250313.jar</systemPath>
</dependency>
<dependency>
    <groupId>com.esproc</groupId>
    <artifactId>esproc-icu4j</artifactId>
    <version>1.0</version>
    <scope>system</scope>
    <systemPath>${project.basedir}/lib/icu4j-60.3.jar</systemPath>
</dependency>
<dependency>
    <groupId>com.alibaba.fastjson2</groupId>
    <artifactId>fastjson2</artifactId>
    <version>2.0.57</version>
</dependency>

java 代码

java 复制代码
import com.alibaba.fastjson2.JSONObject;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.List;

public class CsvDemo {
    public static void main(String[] args) throws Exception {
        Class.forName("com.esproc.jdbc.InternalDriver");
        try (Connection conn = DriverManager.getConnection("jdbc:esproc:local://");
             Statement stmt = conn.createStatement()) {
            String splScript = "$select t1.a_id as id , t2.year as year \n" +
                    " from {file(\"F:/dev/temps.txt\").import@tc()} as t1 \n" +
                    " left join {file(\"F:/dev/temps2.txt\").import@tc()} as t2 \n" +
                    " on t1.a_id=t2.t_id";
            // 执行脚本并获取结果
            ResultSet rs = stmt.executeQuery(splScript);
            //ResultSetMetaData rsmd = rs.getMetaData();
            //int columnCount = rsmd.getColumnCount();
            //for (int i = 1; i <= columnCount; i++) {
            //    String columnName = rsmd.getColumnName(i);
            //    System.out.println(columnName);
            //}
            // 2. 准备批量插入数据库
            List<Object[]> batchArgs = new ArrayList<>();
            while (rs.next()) {
                Object[] row = new Object[]{
                        rs.getInt("id"),
                        rs.getString("year")
                };
                batchArgs.add(row);
            }
            // 入库操作
            System.out.println("batchArgs = " + JSONObject.toJSONString(batchArgs));
        } catch (Exception e) {
            e.printStackTrace();
        }

    }
}

至此就大功告成了,感觉比flinkSQL方式更加轻量级,不知是否还有最优解。欢迎交流。

相关推荐
tan180°6 小时前
MySQL表的操作(3)
linux·数据库·c++·vscode·后端·mysql
优创学社27 小时前
基于springboot的社区生鲜团购系统
java·spring boot·后端
why技术7 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端
幽络源小助理7 小时前
SpringBoot基于Mysql的商业辅助决策系统设计与实现
java·vue.js·spring boot·后端·mysql·spring
ai小鬼头8 小时前
AIStarter如何助力用户与创作者?Stable Diffusion一键管理教程!
后端·架构·github
简佐义的博客9 小时前
破解非模式物种GO/KEGG注释难题
开发语言·数据库·后端·oracle·golang
Code blocks9 小时前
使用Jenkins完成springboot项目快速更新
java·运维·spring boot·后端·jenkins
追逐时光者10 小时前
一款开源免费、通用的 WPF 主题控件包
后端·.net