SpringJPA统计数据库表行数及更新频率

weixin_418007602025-06-16 14:24

数据处理的规范中，第一个层次是ODS，一般成为贴元层，最靠近业务库的数据。需要统计ODS中有数据表的行数，及更新频率。（假设在ODS中是Mysql数据库）

需求描述

有多个mysql的实例，每个实例中有多个数据库schema，每个shema有多个数据表。原始的数据定时增量同步或全量同步到ODS中，ODS中不包含数据的历史版本。是同步的最新版本。

根据当前的现状，需要统计

每个表有多少行

每个表更新的频率

每个表的字段详细

实现思路

分析需求

通过读取myql的元数据，获取到每个数据表的行数。然后持续保存一定的周期，如60天，可以观察一下它的趋势，如果在60天之后，都没有更新，基本上不是高频数据。

通过读取mysql的元数据，获取每个表的字段信息，可以获取到每个表的字段详细信息，这个不需要保留历史版本，仅仅保留最新的一个版本

技术方案

使用SpringBoot+jpa的方式来进行实现

表元数据获取

解析config.xml文件，形成一个类。然后采用jdbc的原始方式进行循环连接各url。获取到数据之后，转入到相应的类中。使用jpa的@entity的方式，将数据保存到数据库中

列元数据获取

解析config.xml文件，形成一个类。然后采用jdbc的原始方式进行循环连接各url。获取到列的数据之后，转入到相应的类中。使用jpa的@entity的方式，将数据 分批 保存到数据库中

非功能性

为保障程序的稳健性运行，需要考虑 日志，异常，可配置性

日志

复制代码 
logback:
  rolling policy:
    file-name-pattern: "datemeta.%d{yyyy-MM-dd}.%i.log"
    max-history: 10
    max-file-size: 1000KB
    total-size-cap: 20000KB

异常

自定义异常及枚举异常的类型

java 复制代码 
public enum DbMetaErrorCode {
    // 文件相关错误
    CONFIG_FILE_NOT_FOUND(1001, "配置文件未找到: {0}"),
    CONFIG_PARSE_ERROR(1002, "配置文件解析失败: {0}"),

    // 配置验证错误
    DUPLICATE_DATA_INSTANCE(2001, "发现重复的数据源实例名称: {0}"),
    MISSING_DATA_INSTANCE_NAME(2002, "数据源实例缺少有效的 dbinstancename"),
    INVALID_DATASOURCE_URL(2003, "{0}: URL无效"),
    MISSING_DRIVER_CLASS(2004, "{0}: 缺少驱动类名"),
    INVALID_KEEPDAYS(2005, "保留天数无效, 必须在{0}-{1}之间, 当前值: {2}"),
    MISSING_DEST_DATASOURCE(2006, "目标数据源配置缺失"),
    MISSING_DEST_URL(2007, "目标数据源URL缺失"),
    MISSING_DEST_DRIVER(2008, "目标数据源驱动类名缺失"),

    // 系统错误
    SYSTEM_STARTUP_FAILED(5001, "系统启动失败"),
    DATABASE_CONNECTION_FAILED(5002, "数据库连接失败: {0}"),

    // 通用错误
    INVALID_CONFIG(6001, "配置无效: {0}");

    private final int code;
    private final String messageTemplate;

    DbMetaErrorCode(int code, String messageTemplate) {
        this.code = code;
        this.messageTemplate = messageTemplate;
    }

    public int getCode() {
        return code;
    }

    public String getMessage(Object... params) {
        return MessageFormat.format(messageTemplate, params);
    }
}

配置化

原始数据库的连接，配置化

目标数据库的连接，配置化

用户的使用方式

本机具有jdk8以上环境

有3个文件，将这3个文件，复制到同一个目录下。该目录不要使用中文。

数据源配置config.xml

字段解释

keepdays：在数据库中保留的表的元数据历史版本天数

复制代码 
<sourcedatasource>

是针对原始的数据库实例的目录

datainstance是数据库的实例，可以有多个实例，如A，B，C等

数据库实例中有多个数据库，仅选择任意一个数据库，配置数据库连接。这样就可以访问该实例中所有的元数据。

如，数据库有5个实例，ABCDE，每个实例下有100个库。

那么在 需要配置 datainstance 5个。

每个里面的原始选择该 datainstance下任意一个数据库的driveclass， url，password

复制代码 
<destinationdatasource>

这个是将结果的元数据存入的数据库；统计的数据会被执行到该数据库中，

注意：在xml中配置连接的时候，如果出现特殊字符，需要进行转义。如& 字符需要转换为&amp,

XML 复制代码 
<destinationdatasource>
        <driverclassname>com.mysql.cj.jdbc.Driver</driverclassname>
        <url>jdbc:mysql://localhost:3306/speed?useUnicode=true&amp;characterEncoding=utf-8&amp;useSSL=false&amp;serverTimezone=Asia/Shanghai</url>
        <username>root</username>
        <password>Steven@123</password>
        <note>目标数据库</note>
    </destinationdatasource>

目标数据库下sql语句执行

sql 复制代码 
CREATE TABLE `tablemetainfo` (
  `id` bigint NOT NULL,
  `codecreateUserId` varchar(255) DEFAULT NULL,
  `codecreateTime` datetime(6) DEFAULT NULL,
  `codelastModifiedUserId` varchar(255) DEFAULT NULL,
  `codelastModifiedTime` datetime(6) DEFAULT NULL,
  `codeversion` int DEFAULT NULL,
  `dbinstancename` varchar(255) DEFAULT NULL,
  `note` varchar(255) DEFAULT NULL,
  `tableCatalog` varchar(255) DEFAULT NULL,
  `tableSchema` varchar(255) DEFAULT NULL,
  `tableName` varchar(255) DEFAULT NULL,
  `tableType` varchar(255) DEFAULT NULL,
  `engine` varchar(255) DEFAULT NULL,
  `version` int DEFAULT NULL,
  `rowFormat` varchar(255) DEFAULT NULL,
  `tableRows` bigint DEFAULT NULL,
  `avgRowLength` bigint DEFAULT NULL,
  `dataLength` bigint DEFAULT NULL,
  `maxDataLength` bigint DEFAULT NULL,
  `indexLength` bigint DEFAULT NULL,
  `dataFree` bigint DEFAULT NULL,
  `autoIncrement` bigint DEFAULT NULL,
  `createTime` datetime(6) DEFAULT NULL,
  `updateTime` datetime(6) DEFAULT NULL,
  `checkTime` datetime(6) DEFAULT NULL,
  `tableCollation` varchar(255) DEFAULT NULL,
  `checksum` varchar(255) DEFAULT NULL,
  `createOptions` varchar(255) DEFAULT NULL,
  `tableComment` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

CREATE TABLE `columnmetainfo` (
  `id` bigint NOT NULL,
  `codecreateUserId` varchar(255) DEFAULT NULL,
  `codecreateTime` datetime(6) DEFAULT NULL,
  `codelastModifiedUserId` varchar(255) DEFAULT NULL,
  `codelastModifiedTime` datetime(6) DEFAULT NULL,
  `codeversion` int DEFAULT NULL,
  `dbname` varchar(255) DEFAULT NULL,
  `note` varchar(255) DEFAULT NULL,
  `tableCatalog` varchar(255) DEFAULT NULL,
  `tableSchema` varchar(255) DEFAULT NULL,
  `tableName` varchar(255) DEFAULT NULL,
  `columnName` varchar(255) DEFAULT NULL,
  `ordinalPosition` int NOT NULL,
  `columnDefault` varchar(255) DEFAULT NULL,
  `isNullable` varchar(255) DEFAULT NULL,
  `dataType` varchar(255) DEFAULT NULL,
  `numericPrecision` int DEFAULT NULL,
  `numericScale` int DEFAULT NULL,
  `datetimePrecision` int DEFAULT NULL,
  `characterSetName` varchar(255) DEFAULT NULL,
  `collationName` varchar(255) DEFAULT NULL,
  `columnType` varchar(255) DEFAULT NULL,
  `columnKey` varchar(255) DEFAULT NULL,
  `extra` varchar(255) DEFAULT NULL,
  `privileges` varchar(255) DEFAULT NULL,
  `columnComment` varchar(255) DEFAULT NULL,
  `generationExpression` varchar(255) DEFAULT NULL,
  `srsId` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

CREATE TABLE `logdto` (
  `id` bigint NOT NULL,
  `codecreateUserId` varchar(255) DEFAULT NULL,
  `codecreateTime` datetime(6) DEFAULT NULL,
  `codelastModifiedUserId` varchar(255) DEFAULT NULL,
  `codelastModifiedTime` datetime(6) DEFAULT NULL,
  `codeversion` int DEFAULT NULL,
  `logContent` varchar(255) DEFAULT NULL,
  `logType` int DEFAULT NULL,
  `operateType` int DEFAULT NULL,
  `createBy` varchar(255) DEFAULT NULL,
  `createTime` datetime(6) DEFAULT NULL,
  `costTime` bigint DEFAULT NULL,
  `ip` varchar(255) DEFAULT NULL,
  `requestParam` varchar(255) DEFAULT NULL,
  `requestType` varchar(255) DEFAULT NULL,
  `requestUrl` varchar(255) DEFAULT NULL,
  `method` varchar(255) DEFAULT NULL,
  `username` varchar(255) DEFAULT NULL,
  `userid` varchar(255) DEFAULT NULL,
  `tenantId` int DEFAULT NULL,
  `clientType` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

运行程序

在3个文件的目录下，进入dos的界面，执行

java -jar .\dbmeta-1.0.1.jar；将自动部署一个web服务程序

获取表的元数据

用户手动触发访问

这个是获取到最新的表的元数据。

http://127.0.0.1:8066/tabledatainfo

自动定时任务

复制代码 
// 每天凌晨5点执行，cron 表达式：0 0 5 * * ?
@Scheduled(cron = "0 0 5 * * ?")

每次执行的时候，把今天的数据先进行删除，然后把60天的数据删除，然后在插入本次获取的数据。

获取列的元数据

这个是获取到最新的列的元数据

http://127.0.0.1:8066/columndatainfo

列每次手动更新，没有必要定时任务

数据分析

SELECT

dbinstancename,

tableSchema,

tablename,(

max( tablerows )- min( tablerows )) maxmindiff

FROM

tableinfo

GROUP BY

dbinstancename,

tableSchema,

tablename

HAVING

max( tablerows )- min( tablerows )>10

假设 最大值-最小值=10，为更新频率高的标记。

从这个结果集中，可以初步评估有哪些是高频更新，哪些是低频更新。

这种评估方法对于在ods中没有更新时间的来看，是可参考的。

最理想的方式，是在ODS的同步时候，同时需要同步 updatetime的时间

开源的代码地址

https://gitee.com/stevenworkshop_admin/dbmeta

相关推荐
汪子熙2 小时前
HSQLDB 数据库锁获取失败深度解析
数据库·后端
无色海5 小时前
mysql连接生命周期-连接阶段
数据库
无色海6 小时前
MySQL协议中的TLS实现
数据库
2301_767233227 小时前
怎么优化MySQL中的索引
数据库·mysql
无色海7 小时前
MySQL 压缩数据包详解
数据库
海尔辛7 小时前
防御性安全：数字取证
数据库·安全·数字取证
繢鴻8 小时前
数据库优化实战分享
数据库
Cachel wood9 小时前
后端开发：计算机网络、数据库常识
android·大数据·数据库·数据仓库·sql·计算机网络·mysql
暗离子跃迁9 小时前
达梦数据库单机部署dmhs同步复制（dm8-＞kafka）
linux·运维·数据库·分布式·学习·kafka·达梦数据库
热门推荐
01Coze扣子平台完整体验和实践（附国内和国际版对比）02DeepSeek各版本说明与优缺点分析03KGG转MP3工具|非KGM文件|解密音频04扣子（coze）实战|我用扣子搭建了一个自动分析小红薯笔记内容的AI应用|详细步骤拆解05从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑06YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】07基于单片机的智能环境监测系统08零代码入门 | Coze——让大模型接入自己的数据库09【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高，一键全文降！文件格式不变，公式都保留的！10电工电子课程设计---四路病房呼叫系统