StarRocks-同步hive数据

官方文档对csv,orc ,json ,parquet都支持的比较好。写文章的时候SR我们生产用的是3.1.x版本

1、同步hive表textfile格式的数据

  1. hive表结构
sql 复制代码
CREATE EXTERNAL TABLE ads_d_app_rank_inc(
    `filename` string COMMENT '解析的文件名称',
    `rank` string COMMENT 'app排名',
    `app_name` string COMMENT 'app名称'
)
COMMENT 'app使用人数排名'
PARTITIONED BY (
    `date_id` string COMMENT '日分区格式yyyyMMdd'
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;
  1. SR 表结构
sql 复制代码
CREATE TABLE ads_d_app_rank_inc
(
    `filename` VARCHAR(255) COMMENT '解析的文件名称',
    `rank` VARCHAR(50) COMMENT 'app排名',
    `app_name` VARCHAR(255) COMMENT 'app名称',
    `date_id` DATE COMMENT '日分区格式yyyyMMdd'
)
COMMENT 'app使用人数排名'
PARTITION BY RANGE(`date_id`)
(
    PARTITION p20231128 VALUES [('2023-11-28'), ('2023-11-29')),
    PARTITION p20231129 VALUES [('2023-11-29'), ('2023-11-30'))
)
DISTRIBUTED BY HASH(`filename`) BUCKETS 10
PROPERTIES (
    "replication_num" = "1",
    "in_memory" = "false",
    "storage_format" = "DEFAULT"
);
  1. 数据导入到SR
sql 复制代码
load label test.ads_d_app_rank_inc_20241122_label(
data infile("hdfs://bdtest/warehouse/tablespace/external/hive/ads_d_app_rank_inc/date_id=20231128/*")
into table ads_d_app_rank_inc
COLUMNS TERMINATED BY ","
format as "csv"
(filename, rank, app_name)
columns from path as (date_id) 
)
with broker properties("timeout" = "3600")

在导入数据的时候,这里指定一下 COLUMNS TERMINATED BY "," ,否则可能因为分隔符报错。

相关推荐
liliangcsdn18 小时前
mac测试ollama llamaindex
数据仓库·人工智能·prompt·llama
晴天彩虹雨1 天前
统一调度与编排:构建自动化数据驱动平台
大数据·运维·数据仓库·自动化·big data·etl
StarRocks_labs2 天前
Lakehouse x AI ,打造智能 BI 新体验
大数据·starrocks·人工智能·iceberg·lakehouse·智能bi·湖仓分析
Sirius Wu2 天前
Hive的窗口函数
数据仓库·hive·hadoop
isNotNullX3 天前
数据集成难在哪?制造企业该怎么做?
大数据·数据库·数据仓库·人工智能·制造
Sirius Wu3 天前
一文说清楚Hive
数据仓库·hive·hadoop·后端
天翼云开发者社区4 天前
离线数仓优化简述
数据仓库
Leo.yuan4 天前
小白做投资测算,如何快速上手?
数据库·数据仓库·人工智能·算法·信息可视化
摘星编程4 天前
MCP与企业数据集成:ERP、CRM、数据仓库的统一接入
数据仓库·erp系统·mcp协议·crm集成·企业数据集成
sheep85214 天前
HIVE实战处理(二十四)留存用户数
数据仓库·hive·hadoop