性能测试丨GreatSQL TPC-H 性能测试报告正式发布!

1、测试背景概述

本次测试针对GreatSQL开源数据库基于标准 TPC-H 场景的测试。

TPC-H(商业智能计算测试)是美国交易处理效能委员会(TPC,TransactionProcessing Performance Council)组织制定的用来模拟决策支持类应用的一个测试集。目前,学术界和工业界普遍采用 TPC-H 来评价决策支持技术方面应用的性能。这种商业测试可以全方位评测系统的整体商业计算综合能力,对厂商的要求更高,同时也具有普遍的商业实用意义,目前在银行信贷分析和信用卡分析、电信运营分析、税收分析、烟草行业决策分析中都有广泛的应用,TPC-H 查询包含八张数据表和 22 条复杂 SQL 查询,大多数查询包含多表联接(JOIN)、子查询和聚合查询等。

GreatSQL数据库是一款开源免费 数据库,可在普通硬件上满足金融级应用场景,具有高可用高性能高兼容高安全等特性,可作为MySQL或Percona Server for MySQL的理想可选替换。

2、测试环境

配置 备注
操作系统 OS:CentOS Linux release 7.9.2009 (Core) 内核:3.10.0-1160.el7.x86_64
CPU Intel(R) Xeon(R) Gold 6238 CPU @ 2.10GHz * 4
内存 251G
磁盘 INTEL SSDPE2KE032T8
数据库 GreatSQL 8.0.32-25, Release 25, Revision 79f57097e3f

提示:在下面运行TPC-H测试时,设置了Rapid引擎最大可使用的内存及线程数。

复制代码

greatsql> SET GLOBAL rapid_memory_limit = 68719476736;

greatsql> SET GLOBAL rapid_worker_threads = 32;

3、测试表结构和数据量

各表数据量对比:

表名 TPC-H SF100数据量 TPC-H SF300数据量 备注
region 5 5 地区信息
nation 25 25 国家表
supplier 1000000 3000000 供应商信息
part 20000000 60000000 零件表
customer 15000000 45000000 消费者表
partsupp 80000000 240000000 配件供应表
orders 150000000 450000000 订单表
lineitem 600037902 1799989091 订单明细表

Rapid引擎表空间压缩率:

库名 InnoDB表空间文件总大小 Rapid引擎表空间总大小 压缩率
TPC-H SF100 184570593436 28728373248 6.42
TPC-H SF300 591644573888 74334864443 7.96

各表结构关系如下图所示:

4、测试结果

**GreatSQL 8.0.32-25版本采用全新的Rapid存储引擎,**使其在TPC-H性能测试中的表现大大优于此前其他版本、MySQL社区版及Percona Server MySQL、MariaDB等数据库。

在TPC-H SF100场景下,运行完成全部22个TPC-H查询SQL的总耗时为79.28秒 。在TPC-H SF300场景下,运行完成全部22个TPC-H查询SQL的总耗时为386.195秒

每条SQL详细耗时如下:

TPC-H Query GreatSQL TPC-H SF100 (32C64G)耗时(秒) GreatSQL TPC-H SF300 (32C64G)耗时(秒)
Q1 1.184 3.537
Q2 0.924 3.865
Q3 1.324 4.167
Q4 3.678 22.712
Q5 1.287 4.119
Q6 0.344 0.959
Q7 5.48 50.217
Q8 1.13 3.534
Q9 7.311 31.872
Q10 2.885 15.301
Q11 0.477 0.921
Q12 0.799 2.294
Q13 3.758 10.997
Q14 0.966 2.471
Q15 2.831 11.898
Q16 1.194 3.487
Q17 8.537 27.523
Q18 13.007 108.237
Q19 1.892 4.046
Q20 4.21 10.668
Q21 11.965 60.084
Q22 2.513 3.286
总耗时 77.696 386.195

GreatSQL SF100 vs SF300(32C64G)对比示意图如下:

5、测试步骤

5.1 安装 GreatSQL

请参考GreatSQL手册内容:安装指南https://greatsql.cn/docs/8032-25/user-manual/4-install-guide/0-install-guide.html,完成GreatSQL安装。

5.2 生成 TPC-H 测试数据

请参考GreatSQL手册内容:TPC-H性能测试https://greatsql.cn/docs/8032-25/user-manual/10-optimze/3-2-benchmark-tpch.html,完成TPC-H工具编译安装。

运行 TPC-H dbgen 工具,生成数据文件,一共会生成 8 个表对应的 tbl 数据文件,例如:

复制代码
$ ./dbgen -vf -s 100
...

$ ls -l *tbl
-rw-r--r-- 1 root root  2463490271 Sep 26 09:20 customer.tbl
-rw-r--r-- 1 root root 79579694556 Sep 26 09:20 lineitem.tbl
-rw-r--r-- 1 root root        2224 Sep 26 09:20 nation.tbl
-rw-r--r-- 1 root root 17793116301 Sep 26 09:20 orders.tbl
-rw-r--r-- 1 root root 12209211160 Sep 26 09:20 partsupp.tbl
-rw-r--r-- 1 root root  2453234158 Sep 26 09:20 part.tbl
-rw-r--r-- 1 root root         389 Sep 26 09:20 region.tbl
-rw-r--r-- 1 root root   142869803 Sep 26 09:20 supplier.tbl

也可以参考 duckdb_dbgen.pyhttps://gitee.com/GreatSQL/GreatSQL-Doc/blob/master/tpch/3.0.1/duckdb_dbgen.py 脚本做法,利用duckdb并行生成测试数据。

5.3 创建 TPC-H 测试数据库表并导入数据

参考GreatSQL社区提供的TPC-H数据库表初始化脚本:tpch-create-table.sqlhttps://gitee.com/GreatSQL/GreatSQL-Doc/blob/master/tpch/3.0.1/tpch-create-table.sql,完成TPC-H测试数据库表创建。

复制代码
$ mysql -f < tpch-create-table.sql
$ mysqlshow tpch100
Database: tpch100
+----------+
|  Tables  |
+----------+
| customer |
| lineitem |
| nation   |
| orders   |
| part     |
| partsupp |
| region   |
| revenue0 |
| supplier |
+----------+

利用GreatSQL的 parallel load data特性https://greatsql.cn/docs/8032-25/user-manual/5-enhance/5-1-highperf-parallel-load.html 并行导入TPC-H测试数据。

需要先修改GreatSQL选项secure_file_priv设置,指向上述 workdir 所在目录,重启GreatSQL使之生效。

参考GreatSQL社区提供的并发导入脚本:load-data-parallel.shhttps://gitee.com/GreatSQL/GreatSQL-Doc/blob/master/tpch/3.0.1/load-data-parallel.sh,完成数据导入。

提示 :运行LOAD DATA导入数据时,可能会在 tmpdir 产生临时文件,因此要保证 tmpdir 有足够的剩余可用磁盘空间。

5.4 确认Rapid引擎设置,并加载数据到secondary engine

数据导入完成后,在开始运行TPC-H测试前,需要先将测试数据加载到secondary engine引擎中。

先执行下面命令,动态修改Rapid引擎最大可使用内存,其余相关选项均为默认值:

复制代码
greatsql> SET GLOBAL rapid_memory_limit = 68719476736;
greatsql> SET GLOBAL rapid_worker_threads = 32;

之后,执行以下命令加载测试数据到secondary engine:

复制代码
greatsql> alter table customer secondary_load;
alter table lineitem secondary_load;
alter table nation secondary_load;
alter table orders secondary_load;
alter table part secondary_load;
alter table partsupp secondary_load;
alter table region secondary_load;
alter table supplier secondary_load;

这个过程需要一定时间,请耐心等待。

5.5 执行 TPC-H 测试

参考GreatSQL社区提供的TPC-H性能测试脚本,完成测试,并记录各个SQL的耗时。

该测试脚本大概工作模式如下:

  1. 先执行22个查询SQL,进行数据预热,每条SQL各执行2次。

  2. 再分别执行22个查询SQL,每个SQL各执行3次。

  3. 每次执行SQL都会记录其起止时间及耗时,如下方所示:

    [2023-09-27 01:38:45] BEGIN RUN TPC-H Q1 1 times
    [2023-09-27 01:38:46] TPC-H Q1 END, COST: 1.301s

    [2023-09-27 01:38:46] BEGIN RUN TPC-H Q1 2 times
    [2023-09-27 01:38:47] TPC-H Q1 END, COST: 0.787s

上述结果中的 COST: 1.301s ,即为本SQL的运行耗时:1.301秒。

相关推荐
lqlj223323 分钟前
Spark SQL 读取 CSV 文件,并将数据写入 MySQL 数据库
数据库·sql·spark
遗憾皆是温柔1 小时前
MyBatis—动态 SQL
java·数据库·ide·sql·mybatis
未来之窗软件服务1 小时前
Cacti 未经身份验证SQL注入漏洞
android·数据库·sql·服务器安全
fengye2071612 小时前
在MYSQL中导入cookbook.sql文件
数据库·mysql·adb
拓端研究室TRL2 小时前
Python与MySQL网站排名数据分析及多层感知机MLP、机器学习优化策略和地理可视化应用|附AI智能体数据代码
人工智能·python·mysql·机器学习·数据分析
Ailovelearning2 小时前
neo4j框架:ubuntu系统中neo4j安装与使用教程
数据库·neo4j
_星辰大海乀3 小时前
表的设计、聚合函数
java·数据结构·数据库·sql·mysql·数据库开发
未来之窗软件服务4 小时前
solidwors插件 开发————仙盟创梦IDE
前端·javascript·数据库·ide·仙盟创梦ide
yc_12244 小时前
SqlHelper 实现类,支持多数据库,提供异步操作、自动重试、事务、存储过程、分页、缓存等功能。
数据库·c#
Leo.yuan5 小时前
基于地图的数据可视化:解锁地理数据的真正价值
大数据·数据库·信息可视化·数据挖掘·数据分析