StarRocks-同步hive数据

官方文档对csv,orc ,json ,parquet都支持的比较好。写文章的时候SR我们生产用的是3.1.x版本

1、同步hive表textfile格式的数据

  1. hive表结构
sql 复制代码
CREATE EXTERNAL TABLE ads_d_app_rank_inc(
    `filename` string COMMENT '解析的文件名称',
    `rank` string COMMENT 'app排名',
    `app_name` string COMMENT 'app名称'
)
COMMENT 'app使用人数排名'
PARTITIONED BY (
    `date_id` string COMMENT '日分区格式yyyyMMdd'
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;
  1. SR 表结构
sql 复制代码
CREATE TABLE ads_d_app_rank_inc
(
    `filename` VARCHAR(255) COMMENT '解析的文件名称',
    `rank` VARCHAR(50) COMMENT 'app排名',
    `app_name` VARCHAR(255) COMMENT 'app名称',
    `date_id` DATE COMMENT '日分区格式yyyyMMdd'
)
COMMENT 'app使用人数排名'
PARTITION BY RANGE(`date_id`)
(
    PARTITION p20231128 VALUES [('2023-11-28'), ('2023-11-29')),
    PARTITION p20231129 VALUES [('2023-11-29'), ('2023-11-30'))
)
DISTRIBUTED BY HASH(`filename`) BUCKETS 10
PROPERTIES (
    "replication_num" = "1",
    "in_memory" = "false",
    "storage_format" = "DEFAULT"
);
  1. 数据导入到SR
sql 复制代码
load label test.ads_d_app_rank_inc_20241122_label(
data infile("hdfs://bdtest/warehouse/tablespace/external/hive/ads_d_app_rank_inc/date_id=20231128/*")
into table ads_d_app_rank_inc
COLUMNS TERMINATED BY ","
format as "csv"
(filename, rank, app_name)
columns from path as (date_id) 
)
with broker properties("timeout" = "3600")

在导入数据的时候,这里指定一下 COLUMNS TERMINATED BY "," ,否则可能因为分隔符报错。

相关推荐
DataY轻量数据平台2 天前
任务调度的三种模式:什么时候跑、按什么顺序跑、等谁跑完
数据仓库·etl
宽海智能仓储物流2 天前
宽海智能WCS系统常见问题全解析:从选型对接、运维定制到降本增效
运维·数据仓库·自动化
上海潭龙东海科技有限公司6 天前
客运站管控之动态孪生技术方案(新增一屏管控模块
数据仓库·人工智能·算法·重构·动态规划
Francek Chen15 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
全栈陈序员18 天前
【Git】从入门到精通(二)—— Git安装与初次配置
数据仓库·git
程序员梅雨18 天前
【从零开始学习数据仓库 | 第三篇】: Flume——数据采集基石
java·大数据·数据仓库·后端·学习·flume
注塑机数据采集联网19 天前
数据采集网关入门:ZK-D1/D3从零开始构建你的数据运用
大数据·数据仓库·人工智能·物联网·数据库架构·注塑机网关
roman_日积跬步-终至千里20 天前
【数据建模入门】从一家小店看懂数仓与机器学习:先理业务,再串技术
数据仓库·人工智能·机器学习·数据分析·数据建模
程序员梅雨20 天前
【从零开始学习数据仓库 | 第二篇】: 拉链表 & 数仓分层
大数据·数据仓库·学习
roman_日积跬步-终至千里21 天前
数仓开发的三层责任:业务定义、模型设计与 SQL 实现
数据库·数据仓库·sql·数据建模