【starrocks学习】之将hive表数据同步到starrocks

目录

一、确认环境

二、创建StarRocks表

三、导出Hive表数据

四、将数据导入StarRocks

[1.使用Broker Load](#1.使用Broker Load)

[2.使用Stream Load](#2.使用Stream Load)

五、验证数据

六、注意事项


一、确认环境

确保Hive和StarRocks都已正确安装并运行。

二、创建StarRocks表

在StarRocks中创建与Hive表结构一致的表。

sql 复制代码
CREATE TABLE starrocks_table (
    column1 INT,
    column2 STRING,
    ...
) ENGINE=OLAP
DUPLICATE KEY(column1)
DISTRIBUTED BY HASH(column1) BUCKETS 10;

三、导出Hive表数据

将Hive表数据导出为StarRocks支持的格式,如Parquet或ORC。

sql 复制代码
INSERT OVERWRITE DIRECTORY '/path/to/export'
STORED AS PARQUET
SELECT * FROM hive_table;

四、将数据导入StarRocks

使用StarRocks的Broker Load或Stream Load将数据导入。

1.使用Broker Load

sql 复制代码
LOAD LABEL label_name
(
    DATA INFILE("hdfs://path/to/export/*")
    INTO TABLE starrocks_table
)
WITH BROKER "broker_name"
(
    "username"="hdfs_user",
    "password"="hdfs_password"
)
PROPERTIES
(
    "timeout" = "3600"
);

2.使用Stream Load

bash 复制代码
curl --location-trusted -u user:password -T /path/to/export/file -XPUT http://starrocks_fe_host:http_port/api/starrocks_db/starrocks_table/_stream_load

五、验证数据

查询StarRocks表,确认数据已正确导入。

bash 复制代码
SELECT * FROM starrocks_table LIMIT 10;
SELECT count(*) FROM starrocks_table ;

六、注意事项

  • 数据类型:确保Hive和StarRocks表的数据类型兼容。

  • 性能优化:根据数据量调整导入参数,如并发度和超时时间。

  • 权限:确保有足够的权限访问HDFS和StarRocks。

通过这些步骤,可以将Hive表数据同步到StarRocks。

相关推荐
yiangL_5 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
优化Henry8 小时前
LTE 站点 S1 链路反复闪断导致小区频闪退服故障排查
运维·网络·学习·信息与通信·tdd
演艺大赏9 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
β添砖java12 小时前
Transformer大白话学习笔记
笔记·学习·transformer
starzy199012 小时前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
kevin_org16 小时前
LangChain入门学习(四)
python·学习·langchain·fastapi
瑞克-桑切斯1 天前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
kaixin_啊啊1 天前
【三种鲑科鱼类比较基因组学分析鉴定出参与细胞内寄生菌鲑立克次体抗性的功能候选基因】论文学习
学习
CappuccinoRose2 天前
Redis 学习文档
redis·后端·学习·缓存·session·非关系型数据库·gossip
演艺大赏2 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop