【源码交付】一站式自助数据分析解决方案(JVS-BI):系统架构蓝图

1.引言

JVS-BI是一体化、自助式的数据分析平台,它采用的高度集成化的思路,针对企业级用户,提供集中仓库+便捷分析的企业级数据开发套件,解决企业各种需要数据分析的场景,多种数据库、多种业务系统、跨库关联、离线数据分析等等。

2.系统架构概览

1).系统架构:JVS-BI系统的整体架构图如下所示:

整体架构包含四层:

  • 基础框架层:基础框架层采用 JVS 的统一数字化底座,包括基础的用户体系、基础的消息能力、统一认证、微服务框架等基础组件,实现BI 运行的基础环境。
  • 数据接入层:数据接入层 采用 JDBC数据连接模式,实现各种数据库、数据文件的统一接入,屏蔽底层数据来源的异常差异,向上层数据存储、数据加工提供统一的基础服务能力。
  • 数据加工层:采用界面化配置的ELT,实现数据的抽取、数据集中存储、数据的界面化加工、效果预览、任务调度等数据编排的能力,为数据引用提供分析结果。
  • 数据应用层:系统提供图表(可嵌入业务系统中使用的数据可视化)、报表(明细数据统计)、大屏(数据可视化展示)、数据服务(API),实现配置与结果预览与调用。

2).使用流程,如下图所示,由数据准备,数据集加工(抽取+编排)生成标准数据集,然后再配置数据的应用结果

3).架构特点

  • 私有化部署与技术开放性
  • JVS-BI侧重于私有化部署,对数据安全性、敏感性高的客户
  • JVS-BI可提供全源码开放的技术服务,主要向合作伙伴提供技术服务
  • 可视化配置与低技术门槛
  • JVS-BI采用多个配置化引擎,实现"0"代码的配置
  • 数据源配置、数据集配置、大屏配置、报表配置、图表配置、API配置、门户配置
  • 多数据源的集成接入
  • 关系型数据库接入
  • 分析型数据库的接入
  • 离线数据文件(excel)的接入
  • 独立的分布式数仓存储
  • 采用独立数据仓库集中存储分析数据,不影响业务系统
  • 采用doris 分部署数据仓库,支持海量的数据存储与加工
  • 数据加工界面化配置
  • 采用界面化、任务节点流程化 连接配置的方式,无需编写SQL脚本
  • 采用抽取数据+模拟建模的方式,所见即所得,更加形象进行数据加工配置
  • 采用完善的任务调度机制,前置、后置、定时调度等,支持多种数据加工场景
  • 采用自动化的生成数据血缘关系,清晰的展示数据的来源与数据的最终用途
  • 数据引用的界面化配置
  • 图表的界面配置引擎
  • 报表的界面配置引擎
  • 大屏的界面配置引擎
  • API数据服务的配置

3.技术栈说明

  • 前端:Vue3+ElementPlus+Vite+Pinia
  • 后端:Spring_cloud_alibaba、Spring boot、Mybatis plus、Nacos、RabbitMq、Xxl-job、Datax
  • 数据:Doris、Mysql、Redis
  • 运维:K8S+docker

4.核心组件详解

  1. 多数据源:该功能支持接入多种不同类型的数据源,包括但不限于关系型数据库(如MySQL, PostgreSQL等)、NoSQL数据库(如MongoDB)、大数据存储系统(如Hadoop)以及API接口等。用户可以根据需要灵活选择和配置所需的数据源,从而实现在一个平台上集中管理和分析来自不同来源的数据。
  2. ELT数据集:ELT(Extract, Load, Transform)数据集功能允许用户从各种数据源中提取(Extract)数据,将其加载(Load)到数据仓库中,并在加载后进行必要的转换(Transform)的界面配置操作。
  3. 图表配置器:图表配置器提供了一个直观的界面配置引擎,允许用户根据自己的需求选择和配置各种类型的图表(如柱状图、折线图、饼图等)。用户可以关联不同数据来源,自定义图表的数据源、颜色、轴标签、图例等多种属性,以满足不同的数据可视化需求。
  4. 报表配置器:报表配置器使用户能够轻松设计和生成数据报表,支持明细报表、分组报表、交叉报表等
  5. 大屏配置器:大屏配置器专为创建大型数据可视化展示而设计。用户可以通过拖拽和配置各种图表、指标和动态元素,构建出专业且吸引人的数据大屏。这些大屏可以用于实时监控、业务展示或会议演示等多种场景。
  6. API配置:API配置功能允许用户轻松集成和管理外部API服务。用户可以通过配置API请求参数、认证方式等,实现向其他系统提供加工后数据的API
  7. 任务执行监控:对任务执行提供界面化的监控界面。

在线免费使用:http://bi.bctools.cn

gitee地址:https://gitee.com/software-minister/jvs-bi

相关推荐
PersistJiao14 分钟前
在 Spark RDD 中,sortBy 和 top 算子的各自适用场景
大数据·spark·top·sortby
2301_8112743126 分钟前
大数据基于Spring Boot的化妆品推荐系统的设计与实现
大数据·spring boot·后端
Yz987634 分钟前
hive的存储格式
大数据·数据库·数据仓库·hive·hadoop·数据库开发
青云交34 分钟前
大数据新视界 -- 大数据大厂之 Hive 数据导入:多源数据集成的策略与实战(上)(3/ 30)
大数据·数据清洗·电商数据·数据整合·hive 数据导入·多源数据·影视娱乐数据
武子康37 分钟前
大数据-230 离线数仓 - ODS层的构建 Hive处理 UDF 与 SerDe 处理 与 当前总结
java·大数据·数据仓库·hive·hadoop·sql·hdfs
武子康39 分钟前
大数据-231 离线数仓 - DWS 层、ADS 层的创建 Hive 执行脚本
java·大数据·数据仓库·hive·hadoop·mysql
时差9531 小时前
Flink Standalone集群模式安装部署
大数据·分布式·flink·部署
锵锵锵锵~蒋1 小时前
实时数据开发 | 怎么通俗理解Flink容错机制,提到的checkpoint、barrier、Savepoint、sink都是什么
大数据·数据仓库·flink·实时数据开发
二进制_博客1 小时前
Flink学习连载文章4-flink中的各种转换操作
大数据·学习·flink
大数据编程之光1 小时前
Flink入门介绍
大数据·flink