Flink将Hive数据导入StarRocks中任务重跑如何避免数据重复?

Hive表中其实没有主键的概念,但是设计StarRocks表时可以增加concat_id这个逻辑主键。我们可以将所有的字段都添加到主键中,变成一个联合主键:

复制代码
CREATE TABLE `bikeda_ebik_saas_user_ride_assort_gather_df_v1` (
  `concat_id` varchar(65533) NOT NULL COMMENT "",
  `pt` date NOT NULL COMMENT "",
  `tenant_id` varchar(65533) NOT NULL COMMENT "",
  `city_guid` bigint NOT NULL COMMENT "",
) ENGINE=OLAP 
PRIMARY KEY(`concat_id`, `pt`)
COMMENT "测试表"
PARTITION BY date_trunc('day', pt)
DISTRIBUTED BY HASH(`concat_id`)
PROPERTIES (
"replication_num" = "3",
"in_memory" = "false",
"enable_persistent_index" = "true",
"replicated_storage" = "true",
"partition_live_number" = "62",
"compression" = "LZ4"
);

Flink写入时用concat_ws把所有字段连接在一起:

复制代码
-- 创建Sink,链接StarRocks的表
CREATE TABLE IF NOT EXISTS `df_v1` (
  `concat_id` varchar(65533) NOT NULL,
  `pt` date not null,
  `tenant_id` string not null,
  `city_guid` bigint not null,
  PRIMARY KEY (concat_id, pt) NOT ENFORCED
) WITH (
  'connector' = 'starrocks',
  'jdbc-url' = 'jdbc:mysql:loadbalance://:9030,:9030,:9030',
  'load-url' = ':8030;:8030;:8030',
  'database-name' = 'test',
  'table-name' = 'df',
  'username' = 'root',
  'password' = '123456'
);
-- 创建hive catalog
-- pro生产环境中hive-conf-dir为/app/hive/conf
-- fat测试环境中hive-conf-dir为/app/hive/dev-conf
CREATE CATALOG flinkHiveCatalog WITH (
  'type' = 'hive',
  'default-database' = 'default',
  'hive-conf-dir' = '/app/hive/conf'
);

-- 使用hive catalog
-- 直接使用hive catalog,只是为了的select部分查询hive表,写法方便
-- 查询hive部分直接db.table即可,不用catalog.db.table三段名字
USE CATALOG flinkHiveCatalog;

-- insert语句插入StarRocks
-- 注意,这时候默认catalog是flinkHiveCatalog,所以StarRocks的sink表要加default_catalog和default_database
insert into
  default_catalog.default_database.df_v1
select
    concat_ws('\001',CAST(TO_TIMESTAMP(CAST(`pt` AS STRING), 'yyyyMMdd') AS VARCHAR),coalesce(`tenant_id`, ''),CAST(coalesce(`city_guid`, -777) AS VARCHAR),),
    TO_TIMESTAMP(CAST(`pt` AS STRING), 'yyyyMMdd'),
    coalesce(`tenant_id`, ''),
    coalesce(`city_guid`, '')
    
from test.df
where pt = '${dt}'
相关推荐
isfox13 分钟前
Hadoop 序列化:为什么不用 Java 自带 Serializable?
大数据
字节跳动数据平台2 小时前
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透
大数据
AI源码3 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
玩美数据3 小时前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能
wuyk55517 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界21 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
TDengine (老段)1 天前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
字节跳动数据平台1 天前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
安心联-车辆监控管理系统1 天前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
大大大大晴天2 天前
每天认识一个组件:VictoriaMetrics
大数据