DataCap:一款开源数据中台软件

DataCap 是一款用于数据转换、集成和可视化的集成软件,可以实现多数据源的管理和监控,对数据进行各种操作和转换、制作数据图表等功能。

DataCap 主要采用 Java、JavaScript 等语言开发,遵循 Apache 2.0 开源协议,代码托管在 GitHub:

https://github.com/devlive-community/datacap

功能特性

  • 广泛的数据源支持:DataCap 支持超过 60+ 数据源,包括 ClickHouse、MySQL、PostgreSQL、MongoDB、Redis、Elasticsearch、Kafka 等主流数据库和中间件。
  • 灵活的连接方式:DataCap 系统支持通过 JDBC、Native、HTTP 等多种协议连接到不同的数据源,提供了更大的灵活性和兼容性。
  • 统一的查询语言:DataCap 将所有数据源的查询语言统一为 SQL,无论是关系型数据库、NoSQL、文件系统还是其他中间件,都可以使用 SQL 进行操作。
  • 数据转换与集成:DataCap 支持数据转换和集成,可以将不同数据源的数据转换为统一的格式,并进行数据集成,实现数据的统一化管理和分析,方便用户进行数据迁移和整合。
  • 数据可视化功能:DataCap 提供了数据可视化的功能,可以将数据转换为图表、图形和报表,实现数据的可视化展示,帮助用户更直观地理解和分析数据。
  • 多用户支持:DataCap 内置多用户管理系统,支持不同用户权限的配置和管理。
  • 完整的 Web UI:DataCap 内置完整的 Web UI,提供了用户友好的界面,方便用户进行数据查询、管理和可视化,实现数据管理的全面控制。
  • 数据源监控:DataCap 提供了数据源监控的功能,可以实时监控数据源的状态、性能和健康指标,帮助用户了解数据源的运行情况,提供数据源的可靠性保障。
  • 插件化架构设计:DataCap 采用插件化系统设计,支持在线安装、卸载、更新和热部署,方便系统的扩展和维护。
  • 开源透明:DataCap 是开源项目,用户可以自由查看、修改和使用源代码,确保系统的透明度和可定制性。

下载安装

DataCap 支持本机、Docker、Kubernetes 等部署方式,使用 Docker Compose 进行部署的过程如下。

首先,新建一个单独的目录,在其中创建一个 docker-compose.yml 文件,内容如下:

yaml 复制代码
services:
  app-mysql:
    image: mysql:latest
    environment:
      MYSQL_ROOT_PASSWORD: 12345678
      MYSQL_DATABASE: datacap
    ports:
      - "13306:3306"
    volumes:
      - ./configure/schema/datacap.sql:/docker-entrypoint-initdb.d/schema.sql
      - mysql_data:/var/lib/mysql

  app-clickhouse:
    image: clickhouse/clickhouse-server:latest
    restart: always
    ports:
      - "8123:8123"
    environment:
      - CLICKHOUSE_DB=datacap
      - CLICKHOUSE_USER=default
      - CLICKHOUSE_PASSWORD=da39a3ee5e6b4b0d3255bfef95601890afd80709
    volumes:
      - clickhouse_data:/var/lib/clickhouse
      - clickhouse_logs:/var/log/clickhouse-server

  app-datacap:
    image: devliveorg/datacap:latest
    restart: always
    ports:
      - "9099:9096"
    depends_on:
      - app-mysql
      - app-clickhouse
    volumes:
      - ./configure/docker/application.properties:/opt/app/datacap/configure/application.properties
      - datacap_data:/opt/app/datacap/data

volumes:
  mysql_data:
  clickhouse_data:
  clickhouse_logs:
  datacap_data:

新建一个子目录 configure/docker,然后将以下文件下载到该目录:

https://github.com/devlive-community/datacap/blob/dev/configure/docker/application.properties

再新建一个子目录 configure/schema,然后将以下文件下载到该目录:

https://github.com/devlive-community/datacap/blob/dev/configure/schema/datacap.sql

使用以下命令启动后台服务:

bash 复制代码
docker-compose up -d

启动成功后,在浏览器中打开网址:http://localhost:9099/#/auth/signin

可以使用以下默认账号进行登录:

  • 系统管理员:admin/12345678
  • 普通用户:datacap/123456789

参考文档:https://datacap.devlive.org/zh-CN/reference/get-started/install.html

相关推荐
祖传F873 小时前
quickbi数据集数据查询时间字段显示正确,仪表板不显示
数据库·sql·阿里云
悟道子HD4 小时前
SRC漏洞挖掘——2.SQL注入漏洞实战详解
sql·web安全·网络安全·渗透测试·sql注入·sqlmap·暴力破解
需要点灵感6 小时前
SQL Server 存储过程语法整理
数据库·sql
沃尔威武7 小时前
性能调优实战:从火焰图定位到SQL优化的全流程
android·数据库·sql
数厘7 小时前
2.7SQL 四大分类:理解与避坑
数据库·sql
千桐科技7 小时前
十张架构图深度拆解:千桐科技“感知-数据-知识-决策”全链路智能平台
数据中台·统一身份认证·千桐科技·算法模型平台·标注平台·智能体构建平台·大模型构建
XDHCOM8 小时前
ORA-31215: DBMS_LDAP PL/SQL无效LDAP修改值,Oracle报错故障修复与远程处理方案,快速解决连接配置难题
数据库·sql·oracle
rockey6278 小时前
AScript动态脚本多语言环境支持
sql·c#·.net·script·eval·function·动态脚本
逆境不可逃10 小时前
高频 SQL 50 题 之 连接篇 1378 1068 1581 197 1661 577 1280 570 1934
数据库·sql
A__tao12 小时前
一键实现 SQL 转 Elasticsearch Mapping(支持字段注释 + meta 描述)
数据库·sql·elasticsearch