性能测试-数据库

一、数据库事务机制

ACID描述

1、原子性Atomicity:事务通常由多个语句组成。原子性保证将每个事务视为一个"单元",该事务要么完全成功,要么完全失败

2、一致性Consistency:"一致"是指数据库中的数据是正确的,不存在矛盾。事务的一致性是指事务执行前后,数据都是正确的,不存在矛盾。如果执行后数据是矛盾的,事务就会回滚到执行前的状态(执行前是一致的)

3、隔离性Isolation:通常数据库会有多个事务同时执行,隔离可确保事务的并发执行不会相互干扰。

4、持久性Durability:持久性保证一旦事务被提交,即使在系统故障(例如,停电或崩溃)的情况下,事务也将保持提交状态

一致性详解:数据库事务一致性的理解_事务的一致性-CSDN博客

二、数据库锁机制

锁机制保证了数据库事务的ACID特性

表锁

行锁

查看锁情况: mysql8查看锁信息_Mysql_脚本之家

1、性能测试,涉及更新数据库的接口,比如修改用户头像,可能会因为锁,导致接口慢

2、性能测试,某个接口,比如注册,如果需要操作三个表,但是批量执行后,三个表更新的数据条数不一致,说明事务控制出了问题。------所以性能测试后要验证数据库中数据的一致性

三、数据库调优思路汇总

1、数据库出现瓶颈的现象:

1.1、资源使用率过高

CPU、网络资源、硬盘资源、内存

1.2、有慢查询日志

超过慢查询阈值long_query_time的增删改查语句

查询是否开启慢查询

show variables like '%slow_query_log%';

开启慢查询

set global slow_query_log='ON';

修改慢查询阈值(查过这个值的查询、更新会被记录到满查询log中)

set global long_query_time=1;

满查询日志

slow_query_log_file

注意:命令行可以,navicat会报错误

mysql> show variables like '%slow_query_log%';
+---------------------+-----------------------------------------+
| Variable_name       | Value                                   |
+---------------------+-----------------------------------------+
| slow_query_log      | OFF                                     |
| slow_query_log_file | /var/lib/mysql/VM-100-3-centos-slow.log |
+---------------------+-----------------------------------------+
2 rows in set (0.00 sec)
mysql> set global slow_query_log='ON';
Query OK, 0 rows affected (0.00 sec)

mysql> show variables like '%slow_query_log%';
+---------------------+-----------------------------------------+
| Variable_name       | Value                                   |
+---------------------+-----------------------------------------+
| slow_query_log      | ON                                      |
| slow_query_log_file | /var/lib/mysql/VM-100-3-centos-slow.log |
+---------------------+-----------------------------------------+
2 rows in set (0.00 sec)
mysql> set global long_query_time=1;
Query OK, 0 rows affected (0.00 sec)
mysql> show variables like '%long_query_time%';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set (0.00 sec)

2、调优------连接池

连接池过多------数据库压力大,处理变慢------资源使用率高------降低连接池数量

连接池过少------应用等待连接池释放消耗时间,导致程序响应慢------资源使用率低------增加连接池数量

3、调优------内存大小

内存大小变量:innodb_buffer_pool_size

可以修改该变量,调整大小,数据库一般独立部署运行,服务器的内存80%给到数据库

mysql> show variables like '%innodb_buffer_pool_size%';
+-------------------------+-----------+
| Variable_name           | Value     |
+-------------------------+-----------+
| innodb_buffer_pool_size | 134217728 |
+-------------------------+-----------+
1 row in set (0.00 sec)

mysql> 

4、调优------SQL

4.1 查询调优
(1)尽量用到索引

未用到索引的情况

  • 对应筛选条件 没建立索引,那就不会用到索引

-【数据量比较小】创建了索引不一定会用到索引,数据库本身有优化机制

如何查看表创建的索引 :show index from 表;

如何检测SQL语言用到索引

查看执行计划:EXPLAIN sql 语句

执行计划内容:

主要看Type字段,从上往下 --- 逐步变慢


索引最好的状态就是以下三种

1)consts 单表中最多只有一个匹配行(主键或者唯一索引),在优化阶段即可读取到数据

2)ref 指的是使用普通的索引(normal index)

3)range 对索引进行范围检索

下面三种都比较慢type=index,索引物理文件全扫描,速度非常慢,这个 index 级别比较 range 还低,与全表扫描是小巫见大巫

(2)尽量避免查询不需要的数据查询需要的信息

避免:select *

实际业务场景,可能只需要记录的 部分字段

原因:查询不需要的数据 -- 占内存、网络带宽最终 影响 响应时间、吞吐量

(3)避免大量的表关联 join

一条SQL查询 涉及的表越多, SQL越慢

阿里巴巴 内部: 禁止出现 3张表以上的关联查询

(4)搜索场景严禁左模糊或者全模糊

like 模糊查询可能导致索引失效

右模糊走索引,左模糊、全模糊不走索引

右模糊 'aa%'

全模糊:'%aa%'

左模糊: '%aa'

(5)功能设计: 不论表大小,都要加上分页的参数

防止 后续数据库表数据增加,而产生性能问题

性能测试-- 针对未来的某个场景模拟 未来表数据增加之后,系统是否能够支撑

4.2 更新调优

非必要,不要主动锁数据

数据库 提供SQL语句,主动 锁表/锁记录

如果因为数据被锁,而导致 请求变慢 【监控 数据库 锁等待信息】
及时关闭事务

事务 会导致 数据库 锁表/锁数据 情况

操作完数据库之后,没有及时 关闭事务,可能导致其他操作数据的变慢
大量更新可以用批处理

业务场景

数据导入功能

数据批量删除/修改

  1. 数据库 -- 批量执行多条SQL语句

  2. 插入 -- values sql

5、调优------表结构

设计表的时候。就要考虑索引

数据量非常大的时候,创建索引是很慢的

创建索引也可能导致数据库变卡

表结构可以适当的做一些冗余

字段允许适当冗余,以提高查询性能,但必须考虑数据一致。冗余字段应遵循:

1)不是频繁修改的字段。

2)不是 varchar 超长字段,更不能是 text 字段。正例:商品类目名称使用频率高,字段长度短,名称基本一成不变,可在相关联的表中冗余存储类目名称,避免关联查询。

缺点: 字段修改的时候会涉及多个表很麻烦,而且占用更多空间 这就是性能优化的取舍

触发器、主外键,高并发下避免使用

触发器:当我们执行数据操作的时候, 触发数据库里面设定好的 存储过程的时候/用户自定义功能的执行

主外键:当进行数据变更的时候, 数据库会去额外进行主外键检测

主外键的目的:是为了确保数据的正确性 ,例如:员工表里面的 部门ID字段,和 部门表的ID字段 一一对应,数据的正确 应该交给 应用程序去维护(业务逻辑),而不是交给数据库,因为数据库的性能不高,删除部门之前,程序先查询部门下是否有员工。尽量少让数据库干活

表字段类型尽量和使用时需要的类型相匹配,避免无谓的类型转换

6、调优------集群架构

单台数据库服务器,在面临海量的数据,海量的请求情况下, 肯定是有上限
集群架构

用多台服务器

部署多个数据库服务

从开发调用的角度,依然是像一台服务器去使用'

数据库服务器

分库分表 :每个数据库服务器上,有一张结构一样的表:

shardingsphere(数据库中间件)

官网:https://shardingsphere.apache.org/index_zh.html

虚拟数据库:本质上是数据库代理,需要依赖java环境

server.yaml:配置 虚拟数据库 用户名 和密码

config-sharding.yaml:真实操作的数据库信息、操作的规则

start.bat:启动,默认端口 3307

使用时,连接数据库代理,而不是 真实的数据库

注意事项: 这个软件也是需要单独部署,这个服务器也需要监控起来这个服务器的配置也需要比较高,所有的sql 都需要经过

它不做数据真实存储,只是 做SQL的分发,和 结果的合并

分库分表

一个表拆分为多个表,甚至放在不同的服务器
读写分离

一个数据库 主服务器 负责 写入数据

读取数据的所有sql请求,由其他从服务器进行处理

相关推荐
weixin_4493108414 分钟前
高效集成:聚水潭采购数据同步到MySQL
android·数据库·mysql
Cachel wood1 小时前
Github配置ssh key原理及操作步骤
运维·开发语言·数据库·windows·postgresql·ssh·github
standxy1 小时前
如何将钉钉新收款单数据高效集成到MySQL
数据库·mysql·钉钉
Narutolxy2 小时前
MySQL 权限困境:从权限丢失到权限重生的完整解决方案20241108
数据库·mysql
Venchill2 小时前
安装和卸载Mysql(压缩版)
数据库·mysql
Humbunklung2 小时前
一种EF(EntityFramework) MySQL修改表名去掉dbo前缀的方法
数据库·mysql·c#
PGCCC3 小时前
【PGCCC】postgresql 缓存池并发设计
数据库·缓存·postgresql
小爬虫程序猿3 小时前
如何利用Python解析API返回的数据结构?
数据结构·数据库·python
wowocpp4 小时前
查看 磁盘文件系统格式 linux ubuntu blkid ext4
linux·数据库·ubuntu
Ai 编码助手10 小时前
MySQL中distinct与group by之间的性能进行比较
数据库·mysql