doris:Azure Storage导入数据

Doris 提供两种方式从 Azure Storage 导入文件:

  • 使用 S3 Load 将 Azure Storage 文件导入到 Doris 中,这是一个异步的导入方式。
  • 使用 TVF 将 Azure Storage 文件导入到 Doris 中,这是一个同步的导入方式。

使用 S3 Load 导入

使用 S3 Load 导入对象存储上的文件,详细步骤可以参考 Broker Load 手册

第 1 步:准备数据

创建 CSV 文件 s3load_example.csv 文件存储在 Azure Storage 上,其内容如下:

复制代码
1,Emily,25
2,Benjamin,35
3,Olivia,28
4,Alexander,60
5,Ava,17
6,William,69
7,Sophia,32
8,James,64
9,Emma,37
10,Liam,64

第 2 步:在 Doris 中创建表

复制代码
CREATE TABLE test_s3load(
    user_id            BIGINT       NOT NULL COMMENT "user id",
    name               VARCHAR(20)           COMMENT "name",
    age                INT                   COMMENT "age"
)
DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 10;

第 3 步:使用 S3 Load 导入数据

Caution

Azure Storage 默认要求 HTTPs 传输,对应的存储账户配置是 需要安全传输:已启用。 必须在 Doris be.conf 中设置 s3_client_http_scheme = https 才能正常访问 Azure Storage。

Azure S3 properties 中的 s3.region 可以省略。

复制代码
LOAD LABEL s3_load_2022_04_01
(
    DATA INFILE("s3://your_bucket_name/s3load_example.csv")
    INTO TABLE test_s3load
    COLUMNS TERMINATED BY ","
    FORMAT AS "CSV"
    (user_id, name, age)
)
WITH S3
(
    "provider" = "AZURE",
    "s3.endpoint" = "StorageAccountA.blob.core.windows.net",  
    "s3.region" = "westus3",
    "s3.access_key" = "<your-ak>",
    "s3.secret_key" = "<your-sk>"
)
PROPERTIES
(
    "timeout" = "3600"
);

第 4 步:检查导入数据

复制代码
SELECT * FROM test_s3load;

结果:

复制代码
mysql> select * from test_s3load;
+---------+-----------+------+
| user_id | name      | age  |
+---------+-----------+------+
|       5 | Ava       |   17 |
|      10 | Liam      |   64 |
|       7 | Sophia    |   32 |
|       9 | Emma      |   37 |
|       1 | Emily     |   25 |
|       4 | Alexander |   60 |
|       2 | Benjamin  |   35 |
|       3 | Olivia    |   28 |
|       6 | William   |   69 |
|       8 | James     |   64 |
+---------+-----------+------+
10 rows in set (0.04 sec)

使用 TVF 导入

第 1 步:准备数据

创建 CSV 文件 s3load_example.csv 文件存储在 Azure Storage 上,其内容如下:

复制代码
1,Emily,25
2,Benjamin,35
3,Olivia,28
4,Alexander,60
5,Ava,17
6,William,69
7,Sophia,32
8,James,64
9,Emma,37
10,Liam,64

第 2 步:在 Doris 中创建表

复制代码
CREATE TABLE test_s3load(
    user_id            BIGINT       NOT NULL COMMENT "user id",
    name               VARCHAR(20)           COMMENT "name",
    age                INT                   COMMENT "age"
)
DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 10;

第 3 步:使用 TVF 导入数据

Caution

Azure Storage 默认要求 HTTPs 传输,对应的存储账户配置是 需要安全传输:已启用。 必须在 Doris be.conf 中设置 s3_client_http_scheme = https 才能正常访问 Azure Storage。

Azure S3 properties 中的 s3.region 可以省略。

复制代码
INSERT INTO test_s3load
SELECT * FROM S3
(
    "uri" = "s3://your_bucket_name/s3load_example.csv",
    "format" = "csv",
    "provider" = "AZURE",
    "s3.endpoint" = "StorageAccountA.blob.core.windows.net",
    "s3.region" = "westus3",
    "s3.access_key" = "<your-ak>",
    "s3.secret_key" = "<your-sk>",
    "column_separator" = ",",
    "csv_schema" = "user_id:int;name:string;age:int"
);

第 4 步:检查导入数据

复制代码
SELECT * FROM test_s3load;

结果:

复制代码
mysql> select * from test_s3load;
+---------+-----------+------+
| user_id | name      | age  |
+---------+-----------+------+
|       5 | Ava       |   17 |
|      10 | Liam      |   64 |
|       7 | Sophia    |   32 |
|       9 | Emma      |   37 |
|       1 | Emily     |   25 |
|       4 | Alexander |   60 |
|       2 | Benjamin  |   35 |
|       3 | Olivia    |   28 |
|       6 | William   |   69 |
|       8 | James     |   64 |
+---------+-----------+------+
10 rows in set (0.04 sec)
相关推荐
B站_计算机毕业设计之家3 小时前
大数据实战:Python+Flask 汽车数据分析可视化系统(爬虫+线性回归预测+推荐 源码+文档)✅
大数据·python·数据分析·flask·汽车·线性回归·预测
Access开发易登软件7 小时前
Access调用Azure翻译:轻松实现系统多语言切换
后端·python·低代码·flask·vba·access·access开发
羊羊小栈8 小时前
基于「多模态大模型 + BGE向量检索增强RAG」的新能源汽车故障诊断智能问答系统(vue+flask+AI算法)
vue.js·人工智能·算法·flask·汽车·毕业设计·大作业
麦麦大数据10 小时前
F024 vue+flask电影知识图谱推荐系统vue+neo4j +python实现
vue.js·python·flask·知识图谱·推荐算法·电影推荐
IDOlaoluo1 天前
Microsoft.NET安装步骤详解(.NET Framework/.NET 6/7/8安装教程)
microsoft·.net
E_ICEBLUE1 天前
Python 处理 Word 文档中的批注(添加、删除)
开发语言·python·microsoft·word
叶子丶苏2 天前
第六节_PySide6基本窗口控件_单行文本框(QLineEdit)
microsoft
总有刁民想爱朕ha2 天前
Python自动化从入门到实战(17)python flask框架 +Html+Css开发一个实用的在线奖状生成器
python·flask·自动化·在线奖状生成器
Leinwin2 天前
Azure Front Door 在中国区正式上线
microsoft·azure
C嘎嘎嵌入式开发2 天前
(13)100天python从入门到拿捏《目录操作》
windows·python·microsoft