paimon使用腾讯云cosn作为仓库存储的使用方式

背景

paimon是flink推出的高性能流式数据湖平台,我们在业务应用中选型了paimon作为数据湖的落地框架。对象存储(Cloud Object Storage,COS)是腾讯云提供的一种存储海量文件的分布式存储服务,用户可通过网络随时存储和查看数据。

我们在大数据存储使用的是腾讯云的cosn对象存储,因此我们需要两者进行结合使用,让cosn作为paimon的存储仓库。

paimon的使用

我们需要用java对paimon进行基本的DDL操作,例如创建数据库,创建数据表等等。根据paimon的官方要求,我们得先构建catalog。

先引入paimon的依赖包

复制代码
<dependency>
  <groupId>org.apache.paimon</groupId>
  <artifactId>paimon-bundle</artifactId>
  <version>1.1-SNAPSHOT</version>
</dependency>
<dependency>
  <groupId>org.apache.paimon</groupId>
  <artifactId>paimon-flink-common</artifactId>
  <version>1.0.0</version>
</dependency>

paimon可以构建2种catalog,一种路径catalog只需要仓库路径,如下:

复制代码
    public static Catalog createFilesystemCatalog() {
        CatalogContext context = CatalogContext.create(new Path("..."));
        return CatalogFactory.createCatalog(context);
    }

另一种catalog,叫做hivecatalog则需要hive的信息和hdfs的信息,如下:

复制代码
    public static Catalog createHiveCatalog() {
        // Paimon Hive catalog relies on Hive jars
        // You should add hive classpath or hive bundled jar.
        Options options = new Options();
        options.set("warehouse", "...");
        options.set("metastore", "hive");
        options.set("uri", "...");
        options.set("hive-conf-dir", "...");
        options.set("hadoop-conf-dir", "...");
        CatalogContext context = CatalogContext.create(options);
        return CatalogFactory.createCatalog(context);
    }

普通存储catalog所创建的元数据信息只存在表的存储路径下,因为使用spark等一些计算引擎会找不到表,所以我们选用的是hivecatalog来创建paimon表。

结合cosn

我们创建hivecatalog时,catalog的warehouse使用的是cosn路径,结果出现如下错误:

那是因为我们还没引入cosn配置。先加入cosn的依赖包,如下:

复制代码
    <dependency>
      <groupId>com.qcloud.cos</groupId>
      <artifactId>hadoop-cos</artifactId>
      <version>3.1.0-8.2.4</version>
    </dependency>
    <dependency>
      <groupId>com.qcloud</groupId>
      <artifactId>cos_api</artifactId>
      <version>5.6.112</version>
    </dependency>

再确保hivecatalog的hadoop-conf-dir参数路径下有hdfs-site.xml,core-site.xml 2个配置文件,并且配置文件根据cosn的hadoop配置 进行配置cosn的各个参数,如下:

再进行使用便能成功创建paimon表了。

总结

paimon创建catalog的warehouse默认走的是hdfs协议,并通过hadoop-conf-dir目录下的配置文件进行适配,配置cosn路径经过测验没有问题,其他同学有空可以试试oss,obs等。

相关推荐
超级小忍26 分钟前
Spring Boot 配置文件常用配置属性详解(application.properties / application.yml)
java·spring boot·后端
麦兜*26 分钟前
基于Spring Boot的审计日志自动化解决方案,结合SpEL表达式和AOP技术,实现操作轨迹自动记录,并满足GDPR合规要求
java·jvm·spring boot·后端·spring·spring cloud·maven
青云交1 小时前
Java 大视界 -- Java 大数据机器学习模型在金融信用评级模型优化与信用风险动态管理中的应用(371)
java·大数据·机器学习·信用评级·动态风控·跨境金融·小贷风控
笙囧同学4 小时前
基于大数据技术的疾病预警系统:从数据预处理到机器学习的完整实践(后附下载链接)
大数据·网络·机器学习
二哈喇子!4 小时前
若依【(前后端分离版)SpringBoot+Vue3】
java·spring boot·后端
Monkey-旭7 小时前
Android Handler 完全指南
android·java·handler
秃狼7 小时前
Execel文档批量替换标签实现方案
java
Brookty8 小时前
Java线程安全与中断机制详解
java·开发语言·后端·学习·java-ee
Sylvia-girl8 小时前
排序查找算法,Map集合,集合的嵌套,Collections工具类
java·算法·排序算法
TT哇8 小时前
【分治】归并排序——排序数组(medium)
java·算法·排序算法