doris: Flink导入数据

使用 Flink Doris Connector 可以实时的将 Flink 产生的数据(如:Flink 读取 Kafka,MySQL 中的数据)导入到 Doris 中。

使用限制

需要依赖用户部署的 Flink 集群。

使用 Flink 导入数据,详细步骤可以参考 Flink-Doris-Connector。在以下步骤中,演示如何通过 Flink 快速导入数据。

第 1 步:创建表

复制代码
CREATE TABLE `students` (
  `id` INT NULL, 
  `name` VARCHAR(256) NULL,
  `age` INT NULL
) ENGINE=OLAP
UNIQUE KEY(`id`)      
COMMENT 'OLAP' 
DISTRIBUTED BY HASH(`id`) BUCKETS 1  
PROPERTIES (                                                         
"replication_allocation" = "tag.location.default: 1"
); 

运行 bin/sql-client.sh 打开 FlinkSQL 的控制台

复制代码
CREATE TABLE student_sink (
    id INT,
    name STRING,
    age INT
    ) 
    WITH (
      'connector' = 'doris',
      'fenodes' = '10.16.10.6:28737',
      'table.identifier' = 'test.students',
      'username' = 'root',
      'password' = '',
      'sink.label-prefix' = 'doris_label'
);

INSERT INTO student_sink values(1,'zhangsan',123)

第 3 步:检查导入数据

复制代码
mysql> select * from test.students;                                                                                                                        
+------+----------+------+      
| id   | name     | age  |    
+------+----------+------+                                                                                                                             
|  1   | zhangsan |  123 |   
+------+----------+------+    
1 rows in set (0.05 sec)  
相关推荐
wuli玉shell2 天前
Doris和Clickhouse对比
clickhouse·doris
SelectDB技术团队3 天前
顺丰科技:从 Presto 到 Doris 湖仓构架升级,提速 3 倍,降本 48%
大数据·数据库·数据仓库·信息可视化·数据分析·doris·实时分析
SelectDB技术团队5 天前
可观测性方案怎么选?SelectDB vs Elasticsearch vs ClickHouse
大数据·数据仓库·clickhouse·elasticsearch·信息可视化·doris·半结构化
m0_3775959013 天前
Flinkcdc 实现 MySQL 写入 Doris
mysql·flink·doris·flinkcdc
Faith_xzc21 天前
Hive 数据同步到 Doris 最佳实践方案:从场景适配到性能调优全解析
大数据·数据仓库·hive·hadoop·doris
曹弘毅21 天前
doris/clickhouse常用sql
数据库·sql·clickhouse·doris
涤生大数据1 个月前
探索Doris:日志分析的新宠,是否能取代老牌ES?
大数据·elasticsearch·doris
SelectDB技术团队1 个月前
Apache Doris 2.1.9 版本正式发布
大数据·数据仓库·数据分析·doris·数据湖·湖仓一体·日志数据
向阳12182 个月前
doris:备份
后端·python·flask·doris
向阳12182 个月前
Ranger 鉴权
doris