StarRocks-同步hive数据

官方文档对csv,orc ,json ,parquet都支持的比较好。写文章的时候SR我们生产用的是3.1.x版本

1、同步hive表textfile格式的数据

  1. hive表结构
sql 复制代码
CREATE EXTERNAL TABLE ads_d_app_rank_inc(
    `filename` string COMMENT '解析的文件名称',
    `rank` string COMMENT 'app排名',
    `app_name` string COMMENT 'app名称'
)
COMMENT 'app使用人数排名'
PARTITIONED BY (
    `date_id` string COMMENT '日分区格式yyyyMMdd'
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;
  1. SR 表结构
sql 复制代码
CREATE TABLE ads_d_app_rank_inc
(
    `filename` VARCHAR(255) COMMENT '解析的文件名称',
    `rank` VARCHAR(50) COMMENT 'app排名',
    `app_name` VARCHAR(255) COMMENT 'app名称',
    `date_id` DATE COMMENT '日分区格式yyyyMMdd'
)
COMMENT 'app使用人数排名'
PARTITION BY RANGE(`date_id`)
(
    PARTITION p20231128 VALUES [('2023-11-28'), ('2023-11-29')),
    PARTITION p20231129 VALUES [('2023-11-29'), ('2023-11-30'))
)
DISTRIBUTED BY HASH(`filename`) BUCKETS 10
PROPERTIES (
    "replication_num" = "1",
    "in_memory" = "false",
    "storage_format" = "DEFAULT"
);
  1. 数据导入到SR
sql 复制代码
load label test.ads_d_app_rank_inc_20241122_label(
data infile("hdfs://bdtest/warehouse/tablespace/external/hive/ads_d_app_rank_inc/date_id=20231128/*")
into table ads_d_app_rank_inc
COLUMNS TERMINATED BY ","
format as "csv"
(filename, rank, app_name)
columns from path as (date_id) 
)
with broker properties("timeout" = "3600")

在导入数据的时候,这里指定一下 COLUMNS TERMINATED BY "," ,否则可能因为分隔符报错。

相关推荐
镜舟科技10 小时前
数据可视化:5 分钟读懂其核心价值与技术实践
starrocks·数据可视化·用户行为分析·商业智能·自然语言交互·商业价值·跨部门协作
A5资源网10 天前
为WordPress 网站创建一个纯文本网站地图(Sitemap)
前端·数据仓库·html·php
Cachel wood10 天前
Spark教程1:Spark基础介绍
大数据·数据库·数据仓库·分布式·计算机网络·spark
張萠飛10 天前
hive集群优化和治理常见的问题答案
数据仓库·hive·hadoop
漫步者TZ11 天前
【StarRocks系列】建表优化
starrocks·分布式数据库
isNotNullX11 天前
ETL连接器好用吗?如何实现ETL连接?
大数据·数据库·数据仓库·信息可视化·etl
袋鼠云数栈11 天前
3节点开启大数据时代:EasyMR助力中小企业轻装上阵、国产转型
大数据·数据库·数据仓库·sql·数据开发·数据中台·袋鼠云
巴基海贼王11 天前
针对数据仓库方向的大数据算法工程师面试经验总结
大数据·数据仓库·算法
漫步者TZ12 天前
【StarRocks系列】StarRocks vs Mysql
数据库·starrocks·mysql·分布式数据库
漫步者TZ12 天前
【StarRocks系列】架构、核心概念
数据库·starrocks·mysql