Java集成esProc 集算器实现联查CSV文件获取结果集

概述

将csv文件数据以类似表关联方式联查,然后获取查询的结果集数据做进一步处理,比如入库等操作。

环境及主要软件版本说明

一、准备工作

1.准备两个csv文件

2.配置及jar依赖

集算器解压后需要如下:

  • config目录中 raqsoftConfig.xml 文件(注释掉了customFunctionFile所在标签行)
  • lib目录中 esproc-20250313.jar、icu4j-60.3.jar(将jar放入项目lib目录中引用即可)

二、编写java程序进行预处理

pom 文件

xml 复制代码
<dependency>
    <groupId>com.esproc</groupId>
    <artifactId>esproc-bin</artifactId>
    <version>1.0</version>
    <scope>system</scope>
    <systemPath>${project.basedir}/lib/esproc-20250313.jar</systemPath>
</dependency>
<dependency>
    <groupId>com.esproc</groupId>
    <artifactId>esproc-icu4j</artifactId>
    <version>1.0</version>
    <scope>system</scope>
    <systemPath>${project.basedir}/lib/icu4j-60.3.jar</systemPath>
</dependency>
<dependency>
    <groupId>com.alibaba.fastjson2</groupId>
    <artifactId>fastjson2</artifactId>
    <version>2.0.57</version>
</dependency>

java 代码

java 复制代码
import com.alibaba.fastjson2.JSONObject;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.List;

public class CsvDemo {
    public static void main(String[] args) throws Exception {
        Class.forName("com.esproc.jdbc.InternalDriver");
        try (Connection conn = DriverManager.getConnection("jdbc:esproc:local://");
             Statement stmt = conn.createStatement()) {
            String splScript = "$select t1.a_id as id , t2.year as year \n" +
                    " from {file(\"F:/dev/temps.txt\").import@tc()} as t1 \n" +
                    " left join {file(\"F:/dev/temps2.txt\").import@tc()} as t2 \n" +
                    " on t1.a_id=t2.t_id";
            // 执行脚本并获取结果
            ResultSet rs = stmt.executeQuery(splScript);
            //ResultSetMetaData rsmd = rs.getMetaData();
            //int columnCount = rsmd.getColumnCount();
            //for (int i = 1; i <= columnCount; i++) {
            //    String columnName = rsmd.getColumnName(i);
            //    System.out.println(columnName);
            //}
            // 2. 准备批量插入数据库
            List<Object[]> batchArgs = new ArrayList<>();
            while (rs.next()) {
                Object[] row = new Object[]{
                        rs.getInt("id"),
                        rs.getString("year")
                };
                batchArgs.add(row);
            }
            // 入库操作
            System.out.println("batchArgs = " + JSONObject.toJSONString(batchArgs));
        } catch (Exception e) {
            e.printStackTrace();
        }

    }
}

至此就大功告成了,感觉比flinkSQL方式更加轻量级,不知是否还有最优解。欢迎交流。

相关推荐
码事漫谈7 小时前
当公司不久后变成冒险者公会,我担心什么
后端
Csvn8 小时前
Nginx 负载均衡进阶与健康检查:哈希、keepalive 池与 DNS 自愈
后端·nginx
皮皮林5519 小时前
京东又开源一款新框架,用起来真优雅!
后端
学长毕设9 小时前
基于SpringBoot智慧养老服务平台设计与实现-附源码
java·spring boot·后端
行百里er12 小时前
【Spring Insight 技术分享】跨服务调用链路是怎么串起来的?
后端·spring·开源
火山引擎和TA的超级拍档们12 小时前
产品情报局 11 | AI 数据湖 LAS:打造大模型时代多模态数据底座
前端·后端
源动力技术栈12 小时前
C# 集合类型全览:从 List<T> 到 FrozenDictionary,配一组实测数据
后端
aleimu13 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
货拉拉技术13 小时前
AI Agent 如何进入实时交易系统:货拉拉的三个实践与一套工程方法论
后端·架构·agent
我是谁的程序员13 小时前
iOS 性能分析在 Windows 上怎么做,用 KXBuild 的 kxdevice 替代 Instruments
后端·ios