paimon使用腾讯云cosn作为仓库存储的使用方式

背景

paimon是flink推出的高性能流式数据湖平台,我们在业务应用中选型了paimon作为数据湖的落地框架。对象存储(Cloud Object Storage,COS)是腾讯云提供的一种存储海量文件的分布式存储服务,用户可通过网络随时存储和查看数据。

我们在大数据存储使用的是腾讯云的cosn对象存储,因此我们需要两者进行结合使用,让cosn作为paimon的存储仓库。

paimon的使用

我们需要用java对paimon进行基本的DDL操作,例如创建数据库,创建数据表等等。根据paimon的官方要求,我们得先构建catalog。

先引入paimon的依赖包

复制代码
<dependency>
  <groupId>org.apache.paimon</groupId>
  <artifactId>paimon-bundle</artifactId>
  <version>1.1-SNAPSHOT</version>
</dependency>
<dependency>
  <groupId>org.apache.paimon</groupId>
  <artifactId>paimon-flink-common</artifactId>
  <version>1.0.0</version>
</dependency>

paimon可以构建2种catalog,一种路径catalog只需要仓库路径,如下:

复制代码
    public static Catalog createFilesystemCatalog() {
        CatalogContext context = CatalogContext.create(new Path("..."));
        return CatalogFactory.createCatalog(context);
    }

另一种catalog,叫做hivecatalog则需要hive的信息和hdfs的信息,如下:

复制代码
    public static Catalog createHiveCatalog() {
        // Paimon Hive catalog relies on Hive jars
        // You should add hive classpath or hive bundled jar.
        Options options = new Options();
        options.set("warehouse", "...");
        options.set("metastore", "hive");
        options.set("uri", "...");
        options.set("hive-conf-dir", "...");
        options.set("hadoop-conf-dir", "...");
        CatalogContext context = CatalogContext.create(options);
        return CatalogFactory.createCatalog(context);
    }

普通存储catalog所创建的元数据信息只存在表的存储路径下,因为使用spark等一些计算引擎会找不到表,所以我们选用的是hivecatalog来创建paimon表。

结合cosn

我们创建hivecatalog时,catalog的warehouse使用的是cosn路径,结果出现如下错误:

那是因为我们还没引入cosn配置。先加入cosn的依赖包,如下:

复制代码
    <dependency>
      <groupId>com.qcloud.cos</groupId>
      <artifactId>hadoop-cos</artifactId>
      <version>3.1.0-8.2.4</version>
    </dependency>
    <dependency>
      <groupId>com.qcloud</groupId>
      <artifactId>cos_api</artifactId>
      <version>5.6.112</version>
    </dependency>

再确保hivecatalog的hadoop-conf-dir参数路径下有hdfs-site.xml,core-site.xml 2个配置文件,并且配置文件根据cosn的hadoop配置 进行配置cosn的各个参数,如下:

再进行使用便能成功创建paimon表了。

总结

paimon创建catalog的warehouse默认走的是hdfs协议,并通过hadoop-conf-dir目录下的配置文件进行适配,配置cosn路径经过测验没有问题,其他同学有空可以试试oss,obs等。

相关推荐
星落梦生1 小时前
Maven高级(9)
java·maven
兴趣互联11 小时前
jeecgboot nacos2.3.2 使用pgsql
java
hudd66812 小时前
JavaEE 初阶 - 文件操作和IO
java·开发语言·java-ee
Flynn Liang12 小时前
HikariCP 连接池不是越大越好:I/O 密集型 Java 服务的数据库容量工程
java·数据库·mysql·高并发·连接池·hikaricp·sql 优化
学长毕设13 小时前
基于SpringBoot社区快递驿站物流配送系统-附源码
java·spring boot·后端
Flynt13 小时前
Java4Shell 实测:EPYC 一跑就中招,关掉 Base64 硬件加速,1KB 解码慢 14 倍
java·安全·性能优化
Resean022313 小时前
Spring 源码分析(七)AOP 原理(上):代理的创建
java·后端·spring
Tangq一定可以的14 小时前
Spring AI Advisor 详解 - 给大模型调用加上“切面“,日志/过滤/记忆一键搞定
java·后端·spring
wuyk55514 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
小巫编程室14 小时前
我造了一个 Java 能力包:让 AI 直接调用你的业务代码
java·前端·后端