AllData数据中台集成开源项目Apache Doris建设实时数仓平台

企业痛点: Doris实时数据仓库的管理软件很少,我们通过集成开源项目Apache Doris,实现查看与管理Doris数据库的实时数仓平台。

💎 Apache Doris实时数仓:https://github.com/apache/doris

💎 Apache Doris官方文档:https://doris.apache.org


Apache Doris是什么?

Apache Doris 是一个基于 MPP 架构的易用、高性能、实时的分析型数据库,以其极速和易用性而闻名。它仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。

所有这些特性使得 Apache Doris 成为报表分析、即席查询、统一数仓构建、数据湖查询加速等场景的理想工具。在 Apache Doris 上,用户可以构建各种应用,如用户行为分析、AB 测试平台、日志检索分析、用户画像分析、订单分析等。




功能菜单一:通过AllData数据平台的能力,创建大数据集群

(1)打开数据平台

打开数据平台(datasophon),集群创建

(2)创建集群

点击创建集群按钮,输入集群信息

(3)创建完成

成功创建大数据集群

功能菜单二:通过配置大数据集群安装Doris

提供大数据组件譬如Doris启动,停止,安装,卸载,扩容,缩容的能力

(1)安装主机

点击配置按钮,配置刚刚创建好的集群,安装主机

(2)主机环境校验

成功安装主机,并完成主机Agent分发

(3)主机Agent分发

平台开始分发worker服务到目标主机后续worker服务将负责接收平台发出的指令,来安装其他服务

(4)等待分发

可以查看服务器具体分发进度,该步骤会受网络速度影响

(5)分发成功

继续安装Doris服务

(6)分发成功

可以看到服务器worker服务也启动了

功能菜单三:AllData数据中台管理大数据组件

一站式安装大数据组件Doris集群

(1)选择服务

选中Doris,安装实时数仓集群,安装基础服务

(2)分配服务master角色

页面一站式配置Doris集群参数,配置成功!(默认即可,也可以修改主机)

(3)分配服务Worker与Client角色

至此,成功安装大数据仓库Doris

功能菜单四:Doris集群安装-服务配置

(1)服务配置

成功安装大数据集群,安装大数据组件Doris集群(参考如下配置)

(2)安装并启动服务

等待安装,该步骤同样受网络速度影响

(3)安装完成

(4)管理集群




(5)成功创建Doris数据仓库平台,包含FE/BE节点

(6)通过AllData数据源平台,管理与连接新的大数据Doris集群

(7)通过AllData数据资产平台,增加Doris数据库,统一收集数仓统计数据

(8)通过AllData数据资产平台,查看实时数仓平台Doris数据资产统计

(9)通过AllData数据库同步中台,同步Mysql数据到Doris(自动创建表和插入数据)


(10)命令行测试导入数据库

可以在数据源平台执行以下大数据SQL



(11)建设成功

实时数仓平台-同步数据结果成功

功能菜单五:实时数仓平台能力展示

涵盖实时数仓分析,数仓系统,数仓日志,数仓监控,数仓会话,数仓配置等能力

(1)实时数仓分析

1.1 数仓分析



1.2 支持直接通过文件导入数据到Doris表

(2)数仓系统

2.1 直接查询目前大数据仓库Doris集群-BE数据节点,存活状态为True

(3)数仓监控

(4)数仓会话

(5)数仓配置

(6)服务器信息

(7)实时数仓平台-创建数据表成功

AllData 大数据产品 × Apache Doris 开源项目

我们产品通过集成 Apache Doris 开源项目,并使用 Apache Doris 存储实时与离线数据,提供产品功能让用户可以管理大数据实时数仓。

杭州奥零数据科技官网:

http://www.aolingdata.com

相关推荐
文丑颜不良啊3 小时前
LeetCode2161~2180题目解析
java·leetcode
成都蜀味缘餐饮技术培训学校3 小时前
手撕烤兔技术培训实战指南,秘制腌料配方比例与调制手法
大数据·经验分享·笔记·其他·微信公众平台
roman_日积跬步-终至千里4 小时前
AI 能让一个人成为团队吗?从数据中台到 OPC,重新理解软件工程能力
大数据·人工智能·软件工程
文丑颜不良啊5 小时前
LeetCode2141~2160题目解析
java·leetcode
LabVIEW开发5 小时前
LabVIEW 连接板:28 个端子怎么排,优先级怎么定
java·算法·labview
演艺大赏5 小时前
NiFi 数据流实战:FTP→HDFS 与 CSV→Parquet,附坏数据、漏文件与双写
大数据
lambo mercy5 小时前
AI智能租房助手
数据库
天天被压力5 小时前
【A股分钟级高频数据完全手册 #07】北交所历史分钟K线接口:京市Pro版分时批量
java·人工智能·python
天天被压力6 小时前
【A股分钟级高频数据完全手册 #08】股票日、分时数据接口对比:普通分时与Pro版差异实测
java·人工智能·python
特立独行的猫A6 小时前
AI 时代,我为什么推荐用 cj-tauri 开发桌面应用
java·后端·python