使用 Flink + Faker Connector 生成测试数据压测 MySQL

|--------------------------------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| | 博主历时三年精心创作的《大数据平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》了解图书详情,京东购书链接:https://item.jd.com/12677623.html,扫描左侧二维码进入京东手机购书页面。 |

使用 Flink 压测 MySQL 是一个不错的注意,或者,有时候我们需要在 MySQL 中生成一些可控的测试数据,这时使用 Flink 的 Faker Connector 就是会很简单。本文记录一下操作方法。

1. 创建 MySQL 测试表

测试表明, MySQL 作为 Sink 时,是不能通过 Flink SQL 在 MySQL 上建库或表的,只能是 Flink 读取 MySQL 上现成的表

所以,需要先在数据库将表建出来。

sql 复制代码
CREATE DATABASE IF NOT EXISTS `example`;
CREATE TABLE IF NOT EXISTS `example`.`currency_rates` (
    `currency_code` CHAR(3) NOT NULL,
    `eur_rate` DECIMAL(6,4) NOT NULL,
    `rate_time` DATETIME NOT NULL,
    PRIMARY KEY (`currency_code`)
);
sql 复制代码
create catalog mysql_datasource with (
    'type'='jdbc',
    'base-url'='jdbc:mysql://10.0.13.30:3307',
    'default-database'='example',
    'username'='root',
    'password'='Admin1234!'
);
    
drop table if exists currency_rates;
create table if not exists currency_rates with (
    'connector' = 'faker',
    'fields.currency_code.expression' = '#{Currency.code}',
    'fields.eur_rate.expression' = '#{Number.randomdouble ''4'',''0'',''10''}',
    'fields.rate_time.expression' = '#{Date.past ''15'',''SECONDS''}',
    'rows-per-second' = '100'   
) like mysql_datasource.example.currency_rates (excluding options);

insert into mysql_datasource.example.currency_rates select * from currency_rates;
select * from mysql_datasource.example.currency_rates;

由于上述表的主键 currency_code 的值是有限的(166个),Flink 的 JDBC Connector 的处理方式是,如果写入的数据主键已存在,则改为更新,所以上述 SQL 不会报错,刷新 MySQL 表会发现表中的数据在不停地更新。这张表特别适合作为维表测试 Temporal Join!

以下单独在 Flink SQL 中创建 currency_rates 的 SQL:

sql 复制代码
create table if not exists currency_rates (
    currency_code string,
    eur_rate decimal(6,4),
    rate_time timestamp(3),
    primary key (currency_code) not enforced
) with (
    'connector' = 'jdbc',
    'url' = 'jdbc:mysql://10.0.13.30:3307/example',
    'table-name' = 'currency_rates',
    'username'='root',
    'password'='Admin1234!'
);
相关推荐
武子康5 小时前
Java-82 深入浅出 MySQL 内部架构:服务层、存储引擎与文件系统全覆盖
java·开发语言·数据库·学习·mysql·spring·微服务
vdoi8 小时前
【Mysql】 Mysql zip解压版 Win11 安装备忘
数据库·mysql
泰勒疯狂展开9 小时前
Linux研学-MySQL安装
linux·mysql·adb
float_六七10 小时前
MySQL索引背后的B+树奥秘
数据库·b树·mysql
火凤凰--凤凰码路18 小时前
MySQL 中的“双路排序”与“单路排序”:原理、判别与实战调优
android·数据库·mysql
过客随尘18 小时前
Mysql RR事务隔离级别引发的生产Bug,你中招了吗?
后端·mysql
知其然亦知其所以然18 小时前
社招 MySQL 面试官问我:InnoDB 的 4 大特性?我靠这 4 个故事一战封神!
后端·mysql·面试
m0_5642641819 小时前
开源数据库E-R图绘制工具分享
数据库·经验分享·mysql·e-r图·开源工具
旧时光巷20 小时前
SQL基础⑭ | 变量、流程控制与游标篇
数据库·sql·学习·mysql·变量·游标·流程控制
叁沐20 小时前
MySQL 22 MySQL有哪些“饮鸩止渴”提高性能的方法?
mysql