doris: Flink导入数据

使用 Flink Doris Connector 可以实时的将 Flink 产生的数据(如:Flink 读取 Kafka,MySQL 中的数据)导入到 Doris 中。

使用限制

需要依赖用户部署的 Flink 集群。

使用 Flink 导入数据,详细步骤可以参考 Flink-Doris-Connector。在以下步骤中,演示如何通过 Flink 快速导入数据。

第 1 步:创建表

复制代码
CREATE TABLE `students` (
  `id` INT NULL, 
  `name` VARCHAR(256) NULL,
  `age` INT NULL
) ENGINE=OLAP
UNIQUE KEY(`id`)      
COMMENT 'OLAP' 
DISTRIBUTED BY HASH(`id`) BUCKETS 1  
PROPERTIES (                                                         
"replication_allocation" = "tag.location.default: 1"
); 

运行 bin/sql-client.sh 打开 FlinkSQL 的控制台

复制代码
CREATE TABLE student_sink (
    id INT,
    name STRING,
    age INT
    ) 
    WITH (
      'connector' = 'doris',
      'fenodes' = '10.16.10.6:28737',
      'table.identifier' = 'test.students',
      'username' = 'root',
      'password' = '',
      'sink.label-prefix' = 'doris_label'
);

INSERT INTO student_sink values(1,'zhangsan',123)

第 3 步:检查导入数据

复制代码
mysql> select * from test.students;                                                                                                                        
+------+----------+------+      
| id   | name     | age  |    
+------+----------+------+                                                                                                                             
|  1   | zhangsan |  123 |   
+------+----------+------+    
1 rows in set (0.05 sec)  
相关推荐
北方的银狐-Zero5 天前
记录第一次部署银河麒麟环境Apache Doris单机部署
sql·database·doris
千桐科技5 天前
qData 数据中台开源版 1.1.2 版本更新公告:新增 Apache Doris 数据源全面支持,稽查规则与转换组件持续完善
开源软件·数据治理·doris·数据集成·大数据平台·数据中台·qdata
leoZ23124 天前
# Apache Doris FE Docker 启动问题排错与解决总结
doris
li.wz1 个月前
溯源数据清洗:一次由“可控”到“失控”的复盘
java·后端·doris
大数据追光猿1 个月前
【大数据Doris】生产环境,Doris主键模型全表7000万数据更新写入为什么那么慢?
大数据·经验分享·笔记·性能优化·doris
二进制_博客2 个月前
Doris2.x连载文章(4)
doris·mpp数据库·doris2.x
二进制_博客2 个月前
Doris2.x连载文章(2)
数据库·doris·mpp数据库
二进制_博客2 个月前
Doris2.x博客连载(1)
doris·mpp数据库
KG大数据2 个月前
Apache Doris 在 IOT 场景的实践与落地方案
物联网·doris·olap
鹿衔`2 个月前
Apache Doris 2.1.10 集群部署与 Paimon 数据湖集成实战文档
apache·doris·paimon