doris:阿里云 OSS 导入数据

Doris 提供两种方式从阿里云 OSS 导入文件:

  • 使用 S3 Load 将阿里云 OSS 文件导入到 Doris 中,这是一个异步的导入方式。
  • 使用 TVF 将阿里云 OSS 文件导入到 Doris 中,这是一个同步的导入方式。

使用 S3 Load 导入

使用 S3 Load 导入对象存储上的文件,详细步骤可以参考 Broker Load 手册

第 1 步:准备数据

创建 CSV 文件 s3load_example.csv 文件存储在阿里云 OSS 上,其内容如下:

复制代码
1,Emily,25
2,Benjamin,35
3,Olivia,28
4,Alexander,60
5,Ava,17
6,William,69
7,Sophia,32
8,James,64
9,Emma,37
10,Liam,64

第 2 步:在 Doris 中创建表

复制代码
CREATE TABLE test_s3load(
    user_id            BIGINT       NOT NULL COMMENT "user id",
    name               VARCHAR(20)           COMMENT "name",
    age                INT                   COMMENT "age"
)
DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 10;

第 3 步:使用 S3 Load 导入数据

注意

阿里云 OSS 公网和内网的 endpoint 是不同的。 如果服务器与 OSS 在同一个 region 下,建议使用内网的 endpoint 链接。

  • 内网 endpoint:oss-cn-hangzhou-internal.aliyuncs.com

  • 公网 endpoint:oss-cn-hangzhou.aliyuncs.com

    LOAD LABEL s3_load_2022_04_01
    (
    DATA INFILE("s3://your_bucket_name/s3load_example.csv")
    INTO TABLE test_s3load
    COLUMNS TERMINATED BY ","
    FORMAT AS "CSV"
    (user_id, name, age)
    )
    WITH S3
    (
    "provider" = "OSS",
    "s3.endpoint" = "oss-cn-hangzhou.aliyuncs.com",
    "s3.region" = "oss-cn-hangzhou",
    "s3.access_key" = "<your-ak>",
    "s3.secret_key" = "<your-sk>"
    )
    PROPERTIES
    (
    "timeout" = "3600"
    );

第 4 步:检查导入数据

复制代码
SELECT * FROM test_s3load;

结果:

复制代码
mysql> select * from test_s3load;
+---------+-----------+------+
| user_id | name      | age  |
+---------+-----------+------+
|       5 | Ava       |   17 |
|      10 | Liam      |   64 |
|       7 | Sophia    |   32 |
|       9 | Emma      |   37 |
|       1 | Emily     |   25 |
|       4 | Alexander |   60 |
|       2 | Benjamin  |   35 |
|       3 | Olivia    |   28 |
|       6 | William   |   69 |
|       8 | James     |   64 |
+---------+-----------+------+
10 rows in set (0.04 sec)

使用 TVF 导入

第 1 步:准备数据

创建 CSV 文件 s3load_example.csv 文件存储在阿里云 OSS 上,其内容如下:

复制代码
1,Emily,25
2,Benjamin,35
3,Olivia,28
4,Alexander,60
5,Ava,17
6,William,69
7,Sophia,32
8,James,64
9,Emma,37
10,Liam,64

第 2 步:在 Doris 中创建表

复制代码
CREATE TABLE test_s3load(
    user_id            BIGINT       NOT NULL COMMENT "user id",
    name               VARCHAR(20)           COMMENT "name",
    age                INT                   COMMENT "age"
)
DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 10;

第 3 步:使用 TVF 导入数据

注意

阿里云 OSS 公网和内网的 endpoint 是不同的。 如果服务器与 OSS 在同一个 region 下,建议使用内网的 endpoint 链接。

  • 内网 endpoint:oss-cn-hangzhou-internal.aliyuncs.com

  • 公网 endpoint:oss-cn-hangzhou.aliyuncs.com

    INSERT INTO test_s3load
    SELECT * FROM S3
    (
    "uri" = "s3://your_bucket_name/s3load_example.csv",
    "format" = "csv",
    "provider" = "OSS",
    "s3.endpoint" = "oss-cn-hangzhou.aliyuncs.com",
    "s3.region" = "oss-cn-hangzhou",
    "s3.access_key" = "<your-ak>",
    "s3.secret_key" = "<your-sk>",
    "column_separator" = ",",
    "csv_schema" = "user_id:int;name:string;age:int"
    );

第 4 步:检查导入数据

复制代码
SELECT * FROM test_s3load;

结果:

复制代码
mysql> select * from test_s3load;
+---------+-----------+------+
| user_id | name      | age  |
+---------+-----------+------+
|       5 | Ava       |   17 |
|      10 | Liam      |   64 |
|       7 | Sophia    |   32 |
|       9 | Emma      |   37 |
|       1 | Emily     |   25 |
|       4 | Alexander |   60 |
|       2 | Benjamin  |   35 |
|       3 | Olivia    |   28 |
|       6 | William   |   69 |
|       8 | James     |   64 |
+---------+-----------+------+
10 rows in set (0.04 sec)
相关推荐
亲爱的非洲野猪33 分钟前
Oracle与MySQL详细对比
数据库·mysql·oracle
Matrix7035 分钟前
Navicat实现MySQL数据传输与同步完整指南
数据库·mysql
Z字小熊饼干爱吃保安1 小时前
面试技术问题总结一
数据库·面试·职场和发展
极限实验室2 小时前
一键启动:使用 start-local 脚本轻松管理 INFINI Console 与 Easysearch 本地环境
数据库·docker
没有口袋啦2 小时前
《数据库》第一次作业:MySQL数据库账户及授权
数据库·mysql
xiao5kou4chang6kai42 小时前
Python-GEE遥感云大数据分析与可视化(如何建立基于云计算的森林监测预警系统)
python·数据分析·云计算·森林监测·森林管理
星辰离彬2 小时前
Java 与 MySQL 性能优化:MySQL连接池参数优化与性能提升
java·服务器·数据库·后端·mysql·性能优化
小苹果13573 小时前
阿里云mysql数据丢失,如何通过服务器备份在其他服务器上恢复数据,并获取mysql丢失数据,完成mysql数据恢复
服务器·mysql·阿里云
张璐月4 小时前
mysql join语句、全表扫描 执行优化与访问冷数据对内存命中率的影响
数据库·mysql
全干engineer6 小时前
ClickHouse 入门详解:它到底是什么、优缺点、和主流数据库对比、适合哪些场景?
数据库·clickhouse