flink on yarn paimon

目录

概述

ogg kafka paimon

实践

前置准备请看如下文章

文章 链接
hadoop一主三从安装 链接
spark on yarn 链接
flink的yarn-session环境 链接

paimon

目标:

  • 1.同步表
  • 2.能过 kafka 向 paimon写入
bash 复制代码
SET parallelism.default =2;
set table.exec.sink.not-null-enforcer = drop;

SET jobmanager.memory.process.size = 2048m;
SET taskmanager.memory.process.size = 10240m;
SET taskmanager.memory.managed.size = 128m;



CREATE CATALOG paimon WITH (
    'type' = 'paimon',
    'warehouse' = 'hdfs:///data/paimon',
    'default-database'='ods'
);


USE CATALOG paimon;



DROP TABLE IF EXISTS xx_REFDES_KAFKA;
CREATE  TEMPORARY xx_REFDES_KAFKA
(   `PCBID` STRING
    ,`RID` STRING
    ,`REFDES` STRING
    ,`BM_CIRCUIT_NO` DECIMAL(38,0)
    ,`TIMESTAMP` TIMESTAMP
    ,`PICKUPSTATUS` STRING
    ,`SERIAL_NUMBER` STRING
    ,`FLAG` DECIMAL(2,0)
    ,`KITID` STRING
    ,`ID` STRING
    ,`CREATEDATE` TIMESTAMP
    ,`ETL` STRING COMMENT 'etl标识'
    ,`OPT1` STRING COMMENT '备用1'
    ,`OPT2` STRING COMMENT '备用2'
    ,`OPT3` STRING COMMENT '备用3'
    ,`OPT4` STRING COMMENT '备用4'
    ,`OPT5` STRING COMMENT '备用5'
    ,`NOZZLEID` STRING COMMENT 'nxt的NOZZLEID'
    ,`LANENO` STRING COMMENT 'nxt的LANENO'
    ,`COMPONENTBARCODE` STRING COMMENT 'asm的componentBarcode nxt的Part2DCode'
    ,`PN` STRING
    ,`LOTCODE` STRING
    ,`DATECODE` STRING
    ,`VERDOR` STRING
    ,`WORKORDER` STRING
    ,primary key(ID) not enforced)
WITH(
 'connector' = 'kafka',
  'topic' = 'TRACE_LOG_REFDES',
  'properties.bootstrap.servers' = '10.xx.xx.30:9092',
  'properties.group.id' = 'xx_REFDES_GROUP',
  'scan.startup.mode' = 'earliest-offset',
  'format' = 'ogg-json'
);


create table if not exists  yy_refdes_hive_ro
(     `pcbid` string
    ,`rid` string
    ,`refdes` string
    ,`bm_circuit_no` decimal(38,0)
    ,`timestamp` string COMMENT '{"type":"DATE"}'
    ,`pickupstatus` string
    ,`serial_number` string
    ,`flag` decimal(2,0)
    ,`kitid` string
    ,`id` string
    ,`createdate` string COMMENT '{"type":"DATE"}'
    ,`etl` string comment 'etl标识'
    ,`opt1` string comment '备用1'
    ,`opt2` string comment '备用2'
    ,`opt3` string comment '备用3'
    ,`opt4` string comment '备用4'
    ,`opt5` string comment '备用5'
    ,`nozzleid` string comment 'nxt的nozzleid'
    ,`laneno` string comment 'nxt的laneno'
    ,`componentbarcode` string comment 'asm的componentbarcode nxt的part2dcode'
    ,`pn` string
    ,`lotcode` string
    ,`datecode` string
    ,`verdor` string
    ,`workorder` string
    ,`dt` string
   ,primary key (id,dt) not enforced)
    partitioned by (dt) with (
    'connector' = 'paimon',
    'file.format' = 'parquet',
    'metastore.partitioned-table' = 'true',
    'bucket' = '-1',
    'partition.expiration-time' = '730 d',
    'partition.expiration-check-interval' = '1 d',
    'partition.timestamp-formatter' = 'yyyy-MM-dd',
    'partition.timestamp-pattern' = '$dt'
    );


INSERT INTO yy_refdes_hive_ro  SELECT 
PCBID,RID,REFDES,BM_CIRCUIT_NO,DATE_FORMAT(`TIMESTAMP`,'yyyy-MM-dd HH:mm:ss'),PICKUPSTATUS,SERIAL_NUMBER,FLAG,KITID,ID,DATE_FORMAT(CREATEDATE,'yyyy-MM-dd HH:mm:ss'),ETL,OPT1,OPT2,OPT3,OPT4,OPT5,NOZZLEID,LANENO,COMPONENTBARCODE,PN,LOTCODE,DATECODE,VERDOR,WORKORDER,DATE_FORMAT(`TIMESTAMP`,'yyyy-MM-dd') 
FROM xx_REFDES_KAFKA;

结束

ogg数据通过 flink 写入 paimon至此结束。

相关推荐
广州腾科助你拿下华为认证15 分钟前
华为考试:HCIE数通考试难度分析
大数据·华为
在未来等你2 小时前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试
大数据CLUB5 小时前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
ratbag6720136 小时前
当环保遇上大数据:生态环境大数据技术专业的课程侧重哪些领域?
大数据
计算机编程小央姐7 小时前
跟上大数据时代步伐:食物营养数据可视化分析系统技术前沿解析
大数据·hadoop·信息可视化·spark·django·课程设计·食物
智数研析社8 小时前
9120 部 TMDb 高分电影数据集 | 7 列全维度指标 (评分 / 热度 / 剧情)+API 权威源 | 电影趋势分析 / 推荐系统 / NLP 建模用
大数据·人工智能·python·深度学习·数据分析·数据集·数据清洗
潘达斯奈基~8 小时前
《大数据之路1》笔记2:数据模型
大数据·笔记
寻星探路9 小时前
数据库造神计划第六天---增删改查(CRUD)(2)
java·大数据·数据库
翰林小院10 小时前
【大数据专栏】流式处理框架-Apache Fink
大数据·flink
孟意昶11 小时前
Spark专题-第一部分:Spark 核心概述(2)-Spark 应用核心组件剖析
大数据·spark·big data