Apache Doris 快速入门

时下握今2023-09-24 14:59

1. 基本概念

  • FE，Frontend，前端节点，接收用户查询请求，SQL解析，执行计划生成，元数据管理，节点管理等

  • BE，Backend，后端节点，数据存储，执行查询计划。

    前端节点FE 和 后端节点BE 各自独立运行，互不影响。

  • broker：用来和外部文件系统打交道

2. 修改配置

DORIS_HOME=/export/server/doris-1.2.4.1

node1：安装doris的机器名

|--------------------------------------------------------------------------|---------------------------------------------------------------------------------------------------|
| 配置文件 | 修改参数 |
| $DORIS_HOME/fe/conf/fe.conf | priority_networks = node1/24 meta_dir = DORIS_HOME/fe/doris-meta |
| $DORIS_HOME/be/conf/be.conf | priority_networks = node1/24 storage_root_path = DORIS_HOME/be/storage1,10;DORIS_HOME/be/storage2 |
| $DORIS_HOME//extensions/apache_hdfs_broker /conf/apache_hdfs_broker.conf | |

3. 启动脚本

|--------------------------------------------------------------------------------------------|-------------------|
| 启动脚本 | 运行进程 |
| $DORIS_HOME/fe/bin/start_fe.sh --daemon | PaloFe |
| ulimit -n 60000 sysctl -w vm.max_map_count=2000000 $DORIS_HOME/be/bin/start_be.sh --daemon | ps -ef | grep be |
| $DORIS_HOME//extensions/apache_hdfs_broker/bin/start_broker.sh --daemon | BrokerBootstrap |

4. 停止脚本

|---------------------------------------------------------------|
| $DORIS_HOME/fe/bin/stop_fe.sh |
| $DORIS_HOME/be/bin/stop_be.sh |
| $DORIS_HOME//extensions/apache_hdfs_broker/bin/stop_broker.sh |

5. Doris端口

常用端口

webui: node1:8030

FE上的MySQL Server端口: 9030

6. MySQL客户端连接Doris

bash 复制代码 
mysql -uroot -P9030 -hnode1

-u 此处使用的root用户是doris内置的默认用户，也是超级管理员用户

-P:这是我们连接到Doris的查询端口，默认端口是9030，对应于fe.conf中的query_port

-h:这是我们连接的FE的IP地址，如果你的客户端和FE安装在同一个节点上，可以使用127.0.0.1

查看FE、BE、Broker运行状态

sql 复制代码 
show frontends\G;
show backends\G;
show broker\G;

扩缩容

sql 复制代码 
#1.扩容
#1.1添加前端
ALTER SYSTEM ADD FRONTEND "192.168.0.1:9050";
#1.2添加后端
ALTER SYSTEM ADD BACKEND "192.168.0.1:9050";

#2.缩容
#1.1剔除前端
ALTER SYSTEM DROP FRONTEND "host1:port", "host2:port";
#1.2剔除后端
ALTER SYSTEM DROP BACKEND "host1:port", "host2:port";

清屏: CTRL + L

7. 创建表

建表

修改分区

sql 复制代码 
mysql> ALTER TABLE demo.example_tb1 ADD PARTITION IF NOT EXISTS `p202005` VALUES LESS THAN ("2020-06-01");
Query OK, 0 rows affected (0.54 sec)

mysql> ALTER TABLE demo.example_list_tb2 ADD PARTITION IF NOT EXISTS p_uk VALUES IN ("London");
Query OK, 0 rows affected (0.25 sec)

mysql> ALTER TABLE demo.example_tb1 DROP PARTITION IF EXISTS p202005;
Query OK, 0 rows affected (0.09 sec)

mysql> ALTER TABLE demo.example_list_tb2 DROP PARTITION IF EXISTS p_uk;
Query OK, 0 rows affected (0.03 sec)

分区可以省略，如果省略的话，默认Doris系统会创建一个分区，这个分区成为单分区，它的分区名字和表名一样。这种很常用。

数据模型

Aggregate Key，相同的key，value会做聚合操作。按照给定的聚合函数 (sum、max、min、replace) 进行聚合。

Unique Key，保证key列的唯一性。只要key相同，新的值会覆盖旧的值。

Duplicate Key，运行数据冗余存储，保留数据原始的样子，不会对数据做任何操作。

建表时，可以省略，默认是冗余模型。

8. 数据操作

数据导入

数据导出

数据删除

数据修改

9. Rollup 和 物化视图

Doris建表默认是有顺序的，这个顺序就是字段的顺序，可以认为这就是它默认的聚合索引。若根据某字段过滤数据，根据索引最左匹配原则，有可能索引失效，导致全表扫描。

rollup可以调整字段顺序，使字段顺序尽可能匹配过滤字段，以此增加前缀索引的匹配度，提升查询效率。

查看表的Rollup：

sql 复制代码 
desc table_name all;

创建Rollup：

sql 复制代码 
alter table table_name add rollup rollup_name (field1,field2...);
bash 复制代码 
#1.创建rollup
mysql> alter table example_site_visit add rollup rollup_cost_userid(user_id,cost);

#2.再创建rollup
mysql>alter table example_site_visit add rollup rollup_cost_userid2(age,date,city,user_id,sex,last_visit_date,cost,max_dwell_time,min_dwell_time);

mysql> desc example_site_visit all;
+---------------------+---------------+-----------------+-------------+--------------+------+-------+---------------------+---------+---------+
| IndexName           | IndexKeysType | Field           | Type        | InternalType | Null | Key   | Default             | Extra   | Visible |
+---------------------+---------------+-----------------+-------------+--------------+------+-------+---------------------+---------+---------+
| example_site_visit  | AGG_KEYS      | user_id         | LARGEINT    | LARGEINT     | No   | true  | NULL                |         | true    |
|                     |               | date            | DATE        | DATE         | No   | true  | NULL                |         | true    |
|                     |               | city            | VARCHAR(20) | VARCHAR(20)  | Yes  | true  | NULL                |         | true    |
|                     |               | age             | SMALLINT    | SMALLINT     | Yes  | true  | NULL                |         | true    |
|                     |               | sex             | TINYINT     | TINYINT      | Yes  | true  | NULL                |         | true    |
|                     |               | last_visit_date | DATETIME    | DATETIME     | Yes  | false | 1970-01-01 00:00:00 | REPLACE | true    |
|                     |               | cost            | BIGINT      | BIGINT       | Yes  | false | 0                   | SUM     | true    |
|                     |               | max_dwell_time  | INT         | INT          | Yes  | false | 0                   | MAX     | true    |
|                     |               | min_dwell_time  | INT         | INT          | Yes  | false | 99999               | MIN     | true    |
|                     |               |                 |             |              |      |       |                     |         |         |
| rollup_cost_userid  | AGG_KEYS      | user_id         | LARGEINT    | LARGEINT     | No   | true  | NULL                |         | true    |
|                     |               | cost            | BIGINT      | BIGINT       | Yes  | false | 0                   | SUM     | true    |
|                     |               |                 |             |              |      |       |                     |         |         |
| rollup_cost_userid2 | AGG_KEYS      | age             | SMALLINT    | SMALLINT     | Yes  | true  | NULL                |         | true    |
|                     |               | date            | DATE        | DATE         | No   | true  | NULL                |         | true    |
|                     |               | city            | VARCHAR(20) | VARCHAR(20)  | Yes  | true  | NULL                |         | true    |
|                     |               | user_id         | LARGEINT    | LARGEINT     | No   | true  | NULL                |         | true    |
|                     |               | sex             | TINYINT     | TINYINT      | Yes  | true  | NULL                |         | true    |
|                     |               | last_visit_date | DATETIME    | DATETIME     | Yes  | false | 1970-01-01 00:00:00 | REPLACE | true    |
|                     |               | cost            | BIGINT      | BIGINT       | Yes  | false | 0                   | SUM     | true    |
|                     |               | max_dwell_time  | INT         | INT          | Yes  | false | 0                   | MAX     | true    |
|                     |               | min_dwell_time  | INT         | INT          | Yes  | false | 99999               | MIN     | true    |
+---------------------+---------------+-----------------+-------------+--------------+------+-------+---------------------+---------+---------+
22 rows in set (0.01 sec)

物化视图

Doris的物化视图，本质上也是一个rollup，只是语法不一样。

sql 复制代码 
mysql> CREATE MATERIALIZED VIEW example_site_visit_mv AS
    -> SELECT user_id,city,SUM(cost)
    -> FROM example_site_visit
    -> GROUP BY user_id,city;
Query OK, 0 rows affected (0.20 sec)

mysql> desc example_site_visit all

10. 内置函数

语法:show builtin functions in database_name;

使用:show builtin functions in demo;

使用方式: help + 函数名;

请点击查看更多函数，查看左侧导航树

11. 动态分区

开启动态分区

bash 复制代码 
#1.开启动态分区,root用户未设置密码，所以为空
curl --location-trusted -u root: -XGET http://node1:8030/api/_set_config?dynamic_partition_enable=true

#2.设置动态分区的检测时间间隔，root用户未设置密码，所以为空
curl --location-trusted -u root: -XGET http://node1:8030/api/_set_config?dynamic_partition_check_interval_seconds=5

动态分区语法

PARTITION BY RANGE('分区字段')()

动态分区不支持list分区

创建动态分区表

sql 复制代码 
-- 创建分区
CREATE TABLE order_dynamic_partition
(
	id int,
	time date,
	money double,
	areaName varchar(50)
)
duplicate key(id,time)
PARTITION BY RANGE(time)()
DISTRIBUTED BY HASH(id) buckets 10
PROPERTIES(
	"dynamic_partition.enable" = "true",
	"dynamic_partition.time_unit" = "DAY", --四种动态分区类型：HOUR,DAY,WEEK,MONTH
	"dynamic_partition.start" = "-7", -- 保留到7天前的分区
    "dynamic_partition.end" = "3", --也创建后3天的分区
    "dynamic_partition.prefix" = "p", --分区名称前缀
    "dynamic_partition.buckets" = "10", 
	"replication_num" = "1"
);

-- 查看分区
show partitions from order_dynamic_partition;

查看动态分区表

sql 复制代码 
show dynamic partition tables;

动态分区表 与 静态分区表 的转换开关

"dynamic_partition.enable" = "true"

true为开启动态分区，false为普通分区

sql 复制代码 
-- 创建静态分区表
CREATE TABLE table_partition
(
    id int,
    time date,
    money double,
    areaName varchar(50)
)
duplicate key(id,time)
PARTITION BY RANGE(time)
(
    PARTITION `p202001` VALUES LESS THAN ("2020-02-01"),
    PARTITION `p202002` VALUES LESS THAN ("2020-03-01"),
    PARTITION `p202003` VALUES LESS THAN ("2020-04-01")
)
DISTRIBUTED BY HASH(id) buckets 10
PROPERTIES
(
   "dynamic_partition.enable" = "false",
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.end" = "3",
    "dynamic_partition.buckets" = "10",
    "replication_num" = "1"
);

-- 静态分区表转换为动态分区表
ALTER TABLE table_partition set ("dynamic_partition.enable" = "true");
-- 动态分区表转换为静态分区表
ALTER TABLE table_partition set ("dynamic_partition.enable" = "false");
相关推荐
Natural_yz4 小时前
大数据学习09之Hive基础
大数据·hive·学习
Natural_yz4 小时前
大数据学习10之Hive高级
大数据·hive·学习
AI服务老曹4 小时前
建立更及时、更有效的安全生产优化提升策略的智慧油站开源了
大数据·人工智能·物联网·开源·音视频
Mephisto.java4 小时前
【大数据学习 | HBASE高级】storeFile文件的合并
大数据·sql·oracle·json·hbase·database
这样の我4 小时前
hbase集成phoenix
大数据·数据库·hbase
思通数据5 小时前
AI与OCR：数字档案馆图像扫描与文字识别技术实现与项目案例
大数据·人工智能·目标检测·计算机视觉·自然语言处理·数据挖掘·ocr
CoderJia程序员甲5 小时前
重学SpringBoot3-整合 Elasticsearch 8.x (三)使用Repository
java·大数据·spring boot·elasticsearch
东方巴黎～Sunsiny5 小时前
如何优化Elasticsearch的查询性能？
大数据·elasticsearch·搜索引擎
杭州的物联网专家5 小时前
涉密载体管控系统：DW-S402全方位守护信息安全的利器
大数据
guanpinkeji6 小时前
搭子小程序定制开发：全新找搭子之旅
大数据·小程序·小程序开发·小程序制作·找搭子·搭子小程序
热门推荐
01聊聊 Python 中的同步原语，为什么有了 GIL 还需要同步原语02【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总03Windows10安装PCL1.14.0及点云配准04C++——超强级病毒代码05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06组基轨迹建模 GBTM的介绍与实现（Stata 或 R）07硬件预取之空间预取08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09Coze扣子平台完整体验和实践（附国内和国际版对比）10【SCS-CN】SCS-CN模型中CN值的确定