apache flink+starrack+paino 打造流批一体数据仓库

Pamion 部署

使用的组件版本

|----------|--------|
| StarRack | 3.3.0 |
| Flink | 1.19.1 |
| Paino | 0.8.2 |
| Kafka | 3、7.2 |

创建安装目录

复制代码
cd /usr/share/
mkdir -p streaminglake
cd streaminglake/
[root@hdp-2 streaminglake]# mkdir -p flink
[root@hdp-2 streaminglake]# mkdir -p starrocks
[root@hdp-2 streaminglake]# mkdir -p paimon
[root@hdp-2 streaminglake]# mkdir -p kafka

下载资料

下载 Flink和相关包

复制代码
cd flink 
wget "https://mirrors.aliyun.com/apache/flink/flink-1.19.1/flink-1.19.1-bin-scala_2.12.tgz"
赋予执行权限
复制代码
chmod u+x flink-1.19.1-bin-scala_2.12.tgz 
解压
复制代码
tar -xf flink-1.19.1-bin-scala_2.12.tgz
复制代码
wget "https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.7.5-10.0/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar"

wget "https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.7.5-10.0/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar"

复制代码
wget "https://repo1.maven.org/maven2/org/apache/flink/flink-sql-connector-kafka/3.2.0-1.18/flink-sql-connector-kafka-3.2.0-1.18.jar"
chmod u+x flink-sql-connector-kafka-3.2.0-1.18.jar 
复制代码
wget "https://github.com/StarRocks/starrocks-connector-for-apache-flink/releases/download/v1.2.9/flink-connector-starrocks-1.2.9_flink-1.18.jar"
chmod u+x flink-connector-starrocks-1.2.9_flink-1.18.jar

下载 Paimon 和相关依赖包

复制代码
cd paino
wget "https://repo.maven.apache.org/maven2/org/apache/paimon/paimon-flink-1.19/0.8.2/paimon-flink-1.19-0.8.2.jar"
#如果使用对象存储,需要下载下面的包
wget "https://repo.maven.apache.org/maven2/org/apache/paimon/paimon-oss/0.8.2/paimon-oss-0.8.2.jar"

授权执行

复制代码
 chmod u+x *

拷贝所有依赖包的flink/lib下

复制代码
cp paimon-flink-1.19-0.8.2.jar paimon-oss-0.8.2.jar flink-shaded-hadoop-2-uber-2.7.5-10.0.jar  flink-connector-starrocks-1.2.9_flink-1.18.jar flink-sql-connector-kafka-3.2.0-1.18.jar flink-1.19.1/lib/
复制代码
cd flink-1.19.1

#修改flink-1.19.1/conf/config.yaml中numberOfTaskSlots为10,允许同时执行的任务
numberOfTaskSlots: 10

./bin/start-cluster.sh

bash flink 客户端:

./bin/sql-client.sh embedded

创建 Iceberg Catalog 和表

复制代码
```sql
-- if you're trying out Paimon in a distributed environment,
-- the warehouse path should be set to a shared file system, S3 minio
CREATE CATALOG my_catalog WITH (
    'type' = 'paimon',
    'warehouse' = 's3://warehouse/wh',
    's3.endpoint'='http://192.168.116.130:9000',
    's3.access-key' = 'admin',
    's3.secret-key' = 'password',
    's3.region' = 'us-east-1'
);

USE CATALOG my_catalog;

-- create a word count table
CREATE TABLE word_count (
    word STRING PRIMARY KEY NOT ENFORCED,
    cnt BIGINT
);

创建完表,可以登录 minio:9001地址进行查看数据文件;

复制代码
USE CATALOG my_catalog;
-- insert data into word count table
insert into word_count values ('hello',2);
相关推荐
异次元的星星29 分钟前
智慧新零售时代:施易德系统平衡技术与人力,赋能门店运营
大数据·零售
深思慎考2 小时前
ElasticSearch与Kibana 入门指南(7.x版本)
大数据·elasticsearch·jenkins
银行数字化转型导师坚鹏2 小时前
如何设计优秀的企业微信私域运营实战培训方案
大数据·python·企业微信
悠闲蜗牛�3 小时前
人工智能时代下的全栈开发:整合AI、大数据与云原生的实践策略
大数据·人工智能·云原生
ml魔力信息4 小时前
活体检测与防伪技术的安全与隐私分析
大数据·人工智能·安全·隐私保护·生物识别·活体检测
数据要素X5 小时前
寻梦数据空间 | 架构篇:从概念到落地的技术实践与突破性创新
大数据·运维·数据仓库·微服务·数据治理·数据中台·可信数据空间
IT学长编程7 小时前
计算机毕业设计 基于EChants的海洋气象数据可视化平台设计与实现 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·python·毕业设计·课程设计·毕业论文·海洋气象数据可视化平台
呆呆小金人7 小时前
SQL入门: HAVING用法全解析
大数据·数据库·数据仓库·sql·数据库开发·etl·etl工程师
Elastic 中国社区官方博客8 小时前
如何减少 Elasticsearch 集群中的分片数量
大数据·数据库·elasticsearch·搜索引擎·全文检索
知识浅谈9 小时前
Elasticsearch 核心知识点全景解读
大数据·elasticsearch·搜索引擎