DeepBI+StarRocks绝对是给AI加了一双“翅膀”

为什么说DeepBI + Starrocks 让AI自动化数据分析加上翅膀?

(有些朋友可能不清楚什么是DeepBI,什么又是StarRocks,我们来了解一下)

什么是DeepBI?

DeepBI是一款开源的基于AI的BI软件,它利用大模型对数据进行查询,梳理,数据展示。通过简单语句沟通实现数据分析以及预测。它有4大模块

1 对话式数据分析:用户可以通过对话,得到任意的数据结果和分析结果。

2 对话式报表生成:通过对话生成持久化的报表和可视化图形。

3 仪表板大屏:将持久化的可视化图组装为仪表板。

4 自动化数据分析报告:根据用户指令自动完成完整的数据分析报告。

什么是StarRocks?

StarRocks 是一款极速统一的Lakehouse产品,具备水平在线扩缩容,金融级高可用,兼容 MySQL 5.7 协议和 MySQL 生态,提供全面向量化引擎与多种数据源联邦查询等重要特性。特点如下

  1. 向量化引擎
  2. 分布式数据join
  3. 高并发查询
  4. 实时数据更新
  5. 灵活的建模方式
  6. 湖仓能力

DeepBI+StarRocks带来的改变

随着科技的发展,人类的进步,AI,GPT的火热程度在当今社会越来越高,已经深入到人们的生活各个方面,AI GPT的应用已经在社交媒体、在线搜索、智能助手、自动化写作等领域取得了显著的成就。 但在BI应用方向上还有些短板,这里面其中一个就是对数据库进行数据分析,在大量数据操作中,数据库的速度有待提高。本文主要介绍了 DeepBI 一个充分利用大语言模型的能力来探索、查询、可视化的自动化数据分析展示工具+ Starrocks一款高并发多维度大数据量的数据仓库。从而实现了高效自动化数据分析。

实践才是硬道理

DeepBI目前已经对Starrocks数据库支持。我们用一个电商数据为例,该电商订单数量在1.5亿条,订单商品详情条目在6亿条左右。每个订单商品有不同的子条目。供应商数量在1000个。

我们实际操纵一下 DeepBI 连接 starrocks 相关的操作。安装完毕DeepBI后,设置账号密码,登录。点击左下角设置,新建一个数据源,选择Starrocks,如下图: 然后,输入数据库账号密码,保存后测试连接,然后,测试连接,会有一个显示成的提示。如果账号密码错误页会有相应的提示。

开始使用starrocks ,如下图:

辅助数据分析(对话式数据分析),先选择数据源

然后根据自身需求选择对应的数据表,提交后就验证后就可以提问问题了。提出一个简单问题,比如我们有多少用户,AI直接通过数据库一次查询

提问一个复杂的问题:按照供应商发货时长,列出前十名。先要统计每个订单的时间,订单详情发货时间,然后统计每个供应商供应数量,再排序,可以看到直接通过AI自己通过对Starrack的访问统计出来并返回结果。

报表(对话式报表生成),问题:按照订单量区分国家,按照比例从高到低,前10名生成一个 饼状 图。 报表示例如下:

其他,仪表盘(仪表板大屏),自动数据分析(自动化数据分析报告)使用Starrocks 数据源基本操作与上面一致。

当DeepBI 增加了对Starrocks 支持后,大大减少数据处理时间。这样在实际操作中AI的回答变的更加迅速。我们在mysql中同步了1.5亿条订单记录。

问题1. 我们订单数量是多少

问题2. 列出客户量占全部用户的比例从高到低前10个国家,用折线图表示

问题3. 按照订单,统计订单额从高到低的前10名用户,列出名称和总订单额

在AI操作数据库并自动给出结论总时长耗时对比:

问题1 在mysql 情况下耗时 46秒 startrocks 耗时 22秒

问题2 在mysql 情况下耗时 73秒 starrocks 耗时32秒

问题3 在mysql 情况下耗时 108秒 starrocks 耗时 35秒

通过对耗时的对比,可以看出在DeepBI使用Starrocks 后,对大数据量的时间处理有大幅度缩短,大大加快了AI回答问题的效率,只有问题越复杂时间上的缩短越明显,这就好比3g信号和5g信号对比 ,发一条"好的"消息可能时间相差不大,但是我们要是视频通话或者刷视频,那反应时间就显而易见了。(想要体验的用户去下方"重点"中查看地址)

DeepBI回答问题结果图:

问题1. 问题2.

问题3.

引入了StarRocks,DeepBI在处理问题时加快了速度,一款高并发多维度大数据量的数据仓库。相较于传统的数据库(如MySQL),StarRocks在性能上有显著提升,支持向量化引擎、分布式数据join、高并发查询等特性。通过DeepBI对StarRocks的支持,进一步提升了数据分析的效率。

总结

通过实际操作示例,展示了DeepBI对StarRocks的连接和查询操作。在一个包含1.5亿条订单记录的电商数据集中,通过提问简单和复杂的问题,演示了DeepBI结合StarRocks进行自动化数据分析的能力。通过比较在MySQL和StarRocks上的操作耗时,验证了StarRocks在大数据量场景下的优越性能,同时为DeepBI大数据分析在耗时上大幅减少。

总体而言,结合DeepBI和StarRocks,使得AI在数据分析领域的应用更加高效和便捷。这两者都是开源软件,为用户提供了灵活且强大的数据分析工具。

重点

DeepBI 是基于GPT4的Muti-Agent数据分析软件,现已在GitHub上开源,大家可以随时去下载体验

GitHub开源地址:github.com/DeepInsight...

重要的事说三遍:现在免费 送20w Token!免费送 20w Token!!免费送20w Token!!!

相关推荐
Edingbrugh.南空6 小时前
Flink自定义函数
大数据·flink
gaosushexiangji7 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
无级程序员10 小时前
大数据平台之ranger与ldap集成,同步用户和组
大数据·hadoop
lifallen11 小时前
Paimon 原子提交实现
java·大数据·数据结构·数据库·后端·算法
TDengine (老段)11 小时前
TDengine 数据库建模最佳实践
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
张先shen11 小时前
Elasticsearch RESTful API入门:全文搜索实战(Java版)
java·大数据·elasticsearch·搜索引擎·全文检索·restful
Elastic 中国社区官方博客12 小时前
Elasticsearch 字符串包含子字符串:高级查询技巧
大数据·数据库·elasticsearch·搜索引擎·全文检索·lucene
张先shen12 小时前
Elasticsearch RESTful API入门:全文搜索实战
java·大数据·elasticsearch·搜索引擎·全文检索·restful
天翼云开发者社区13 小时前
Doris-HDFS LOAD常见问题汇总(二)
大数据·doris
简婷1870199877513 小时前
源网荷储 + 零碳园区:一场关于能源与未来的双向奔赴
大数据·人工智能·能源