StarRocks导入数据-使用 Broker Load 进行异步导入

目录

一、背景

二、实操

三、查看导入进度


一、背景

将hive库数据表导入starrocks.

二、实操

sql 复制代码
LOAD LABEL user_behavior
(
    DATA INFILE("hdfs://<hdfs_ip>:<hdfs_port>/user/amber/user_behavior_ten_million_rows.parquet")
    INTO TABLE user_behavior
    FORMAT AS "parquet"
 )
 WITH BROKER
(
    "hadoop.security.authentication" = "simple",
    "username" = "<hdfs_username>",
    "password" = "<hdfs_password>"
)
PROPERTIES
(
    "timeout" = "72000"
);

三、查看导入进度

sql 复制代码
SELECT * FROM information_schema.loads where label='user_behavior';
相关推荐
Data_Journal3 小时前
用于网页抓取的 Node-unblocker
大数据·开发语言·数据库·python·scrapy
涤生大数据3 小时前
一次“没有运行日志”的DolphinScheduler任务失败排查
大数据·数据库·人工智能·状态模式
专注API从业者4 小时前
告别人工盯品!借助 Open Claw 搭建电商商品自动化监控与数据分析系统(完整可运行源码)
大数据·运维·数据库·数据分析·自动化
润乾软件5 小时前
Trae+SQLazy 编写复杂 SQL 实践
数据库·sql
用户938515635076 小时前
掘金风格后端数据库设计实战:从用户表到分布式架构,一文搞定
后端·sql
呆呆小孩6 小时前
零基础学 MySQL(上):从建库建表到增删改查,一篇搭好 SQL 基础
android·sql·mysql
多加点辣也没关系6 小时前
Git - 的安装与使用
大数据·git
醉颜凉6 小时前
Elasticsearch 相关性评分核心解密:tie_breaker 参数作用原理与实战调优全解析
大数据·elasticsearch·jenkins
芯小途20267 小时前
影视 AIGC 素材管理:改到第 108 版,为什么「块级去重」能把 TB 级素材压回百 GB(附估算脚本)
大数据·aigc
IanSkunk7 小时前
视光中心建设复盘:从流程断层到组织能力的落地路径
大数据·人工智能