apache flink+starrack+paino 打造流批一体数据仓库

Pamion 部署

使用的组件版本

|----------|--------|
| StarRack | 3.3.0 |
| Flink | 1.19.1 |
| Paino | 0.8.2 |
| Kafka | 3、7.2 |

创建安装目录

复制代码
cd /usr/share/
mkdir -p streaminglake
cd streaminglake/
[root@hdp-2 streaminglake]# mkdir -p flink
[root@hdp-2 streaminglake]# mkdir -p starrocks
[root@hdp-2 streaminglake]# mkdir -p paimon
[root@hdp-2 streaminglake]# mkdir -p kafka

下载资料

下载 Flink和相关包

复制代码
cd flink 
wget "https://mirrors.aliyun.com/apache/flink/flink-1.19.1/flink-1.19.1-bin-scala_2.12.tgz"
赋予执行权限
复制代码
chmod u+x flink-1.19.1-bin-scala_2.12.tgz 
解压
复制代码
tar -xf flink-1.19.1-bin-scala_2.12.tgz
复制代码
wget "https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.7.5-10.0/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar"

wget "https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.7.5-10.0/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar"

复制代码
wget "https://repo1.maven.org/maven2/org/apache/flink/flink-sql-connector-kafka/3.2.0-1.18/flink-sql-connector-kafka-3.2.0-1.18.jar"
chmod u+x flink-sql-connector-kafka-3.2.0-1.18.jar 
复制代码
wget "https://github.com/StarRocks/starrocks-connector-for-apache-flink/releases/download/v1.2.9/flink-connector-starrocks-1.2.9_flink-1.18.jar"
chmod u+x flink-connector-starrocks-1.2.9_flink-1.18.jar

下载 Paimon 和相关依赖包

复制代码
cd paino
wget "https://repo.maven.apache.org/maven2/org/apache/paimon/paimon-flink-1.19/0.8.2/paimon-flink-1.19-0.8.2.jar"
#如果使用对象存储,需要下载下面的包
wget "https://repo.maven.apache.org/maven2/org/apache/paimon/paimon-oss/0.8.2/paimon-oss-0.8.2.jar"

授权执行

复制代码
 chmod u+x *

拷贝所有依赖包的flink/lib下

复制代码
cp paimon-flink-1.19-0.8.2.jar paimon-oss-0.8.2.jar flink-shaded-hadoop-2-uber-2.7.5-10.0.jar  flink-connector-starrocks-1.2.9_flink-1.18.jar flink-sql-connector-kafka-3.2.0-1.18.jar flink-1.19.1/lib/
复制代码
cd flink-1.19.1

#修改flink-1.19.1/conf/config.yaml中numberOfTaskSlots为10,允许同时执行的任务
numberOfTaskSlots: 10

./bin/start-cluster.sh

bash flink 客户端:

./bin/sql-client.sh embedded

创建 Iceberg Catalog 和表

复制代码
```sql
-- if you're trying out Paimon in a distributed environment,
-- the warehouse path should be set to a shared file system, S3 minio
CREATE CATALOG my_catalog WITH (
    'type' = 'paimon',
    'warehouse' = 's3://warehouse/wh',
    's3.endpoint'='http://192.168.116.130:9000',
    's3.access-key' = 'admin',
    's3.secret-key' = 'password',
    's3.region' = 'us-east-1'
);

USE CATALOG my_catalog;

-- create a word count table
CREATE TABLE word_count (
    word STRING PRIMARY KEY NOT ENFORCED,
    cnt BIGINT
);

创建完表,可以登录 minio:9001地址进行查看数据文件;

复制代码
USE CATALOG my_catalog;
-- insert data into word count table
insert into word_count values ('hello',2);
相关推荐
QYResearch43 分钟前
导航浮标灯市场现状及前景分析
大数据
QYResearch1 小时前
2025年全球半导体用电子湿化学品行业总体规模、主要企业国内外市场占有率及排名
大数据
搞科研的小刘选手1 小时前
【通信&网络安全主题】第六届计算机通信与网络安全国际学术会议(CCNS 2025)
大数据·人工智能·网络安全·vr·通信工程·网络技术·计算机工程
weixin_307779134 小时前
AWS Redshift 数据仓库完整配置与自动化管理指南
开发语言·数据仓库·python·云计算·aws
阿里云大数据AI技术5 小时前
云栖实录 | 通义实验室基于MaxCompute进行大模型数据管理及处理
大数据·人工智能
yumgpkpm6 小时前
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境多个mysql数据库汇聚的操作指南
大数据·hive·hadoop·zookeeper·big data·cloudera
CryptoPP6 小时前
获取越南股票市场列表(包含VN30成分股)实战指南
大数据·服务器·数据库·区块链
跨境小新7 小时前
TG弹出“只能给双向联系人发送消息”的飞机双向限制怎么办?
大数据
数智顾问8 小时前
破解 Shuffle 阻塞:Spark RDD 宽窄依赖在实时特征工程中的实战与未来
大数据·分布式·spark
Giser探索家8 小时前
遥感卫星升轨 / 降轨技术解析:对图像光照、对比度的影响及工程化应用
大数据·人工智能·算法·安全·计算机视觉·分类