一、铺底数据在全链路压测中的定位
全链路压测的测试数据分为两类：铺底数据和参数化数据（流量数据）。铺底数据的作用是模拟真实业务场景，并验证系统在一段时间后能否正常运转。它直接影响压测结果的有效性------数据量不足或分布不合理，都会导致压测结论失真。铺底数据的准备需要在压测方案阶段就规划好，而不是执行前临时处理。核心问题有两个：涉及哪些表、每张表需要多少量级的数据。---## 二、表链路追踪：找到压测涉及的所有表准备铺底数据的第一步是确定压测链路涉及哪些数据库表。追踪路径是：接口 → 服务 → Controller → Service → DAO → 表 。以电商系统为例，基于 MVC 开发模式，追踪步骤如下：1. 从 JMeter 脚本中找到接口路径，确定目标服务（如 /api/portal/home/content 对应 Portal 服务）2. 在 IDE 中打开源码，找到对应 Controller 方法3. 沿 Controller → Service → DAO 层逐层追踪，找到实际操作的表java// Controller 层示例@RequestMapping(value = "/content", method = RequestMethod.GET)public CommonResult<HomeContentResult> content(...) { HomeContentResult contentResult = homeService.content(page, size); return CommonResult.success(contentResult);}追踪完成后，可以用 IntelliJ IDEA 的 SequencePlugin 生成代码调用图，直观展示方法调用链路。对于一个典型电商系统，压测链路通常涉及以下表：用户表、用户地址表、商品表、库存表、购物车表、订单表。其中用户相关表和订单相关表需要铺底数据，商品表和库存表只需保证库存充足即可。如果没有代码权限，可以让研发梳理接口与表的关系，并告知压测时间节点和各表的铺底数据量级，由研发提前做好数据备份。---## 三、数据脱敏：生产数据导入前的必要处理生产数据是铺底数据最可靠的来源，但用户名、手机号、银行账号、身份证号、详细地址等敏感字段必须脱敏后才能使用，否则构成重大信息安全事故。以用户表为例，需要脱敏的字段包括 username、password、phone、nickname，以及地址表中的收货人姓名和手机号。脱敏后密码也需要批量重置，否则无法登录获取认证 token，导致后续业务接口无法正常请求。以下是六种常用的脱敏和造数方法：方法一：SQL 批量替换 适合已导入测试库的数据，直接用 UPDATE ... SET ... REPLACE(...) 批量修改敏感字段：sqlUPDATE 7dnewmall.ums_member SET phone = REPLACE(phone, '898', '188') WHERE username LIKE '7d%';操作前提：数据库已备份，或已导入测试库，不能在生产库直接执行。方法二：Python 脚本脱敏 适合需要跨库操作或自定义处理逻辑的场景。通过 pymysql 连接数据库，读取原始数据后加工再写入目标库：pythonimport pymysqlconn = pymysql.connect(host="localhost", user="root", passwd="li123456", db="7d_api")cur = conn.cursor()cur.execute("select * from user;")results = cur.fetchall()for row in results: sql = "INSERT INTO user(name) VALUES ('%s')" % (row[1] + "_测试") cur.execute(sql) conn.commit()跨库操作时需要建立两个独立的数据库连接。方法三：Java JDBC 脱敏 适合已有 Java 技术栈的团队，通过原始 JDBC 读取源库数据，处理后插入目标库。核心逻辑是读取敏感字段、替换或加密后，通过 PreparedStatement 写入新表。方法四：ETL Kettle 适合数据量大、处理逻辑复杂的场景。Kettle 支持通过 HTTP 接口获取原始数据，处理后导入关系型数据库，可视化配置降低了编码成本。方法五：压测工具直接造数 通过 JMeter 或 LoadRunner 跑业务场景接口，将铺底数据直接写入系统表。优点是数据完整、分布均匀，不需要额外的造数逻辑；缺点是耗时较长。方法六：存储过程 + 日志清洗 适合有复杂数据清洗需求的项目。存储过程方案可以实现：动态扩展清洗规则、数据抽取与同步、异常回滚、统一表映射机制、自动生成核查结果，并通过日志表监控整个处理链路。---## 四、新老项目的铺底数据策略差异老项目 ：生产数据经过脱敏处理后可以直接使用，数据分布天然符合真实业务，是最优选择。新项目 ：没有生产数据可用，推荐通过业务脚本开多线程跑铺底数据。虽然耗时，但数据完整性和分布均匀性有保障，不需要维护复杂的造数逻辑。不建议直接用存储过程或 SQL 批量插入，因为系统表逻辑复杂时，手工造的数据容易出现关联关系缺失或状态不一致的问题。---## 五、铺底数据量的估算方法铺底数据量的目标是匹配生产量级。具体做法：- 老项目 ：直接参考生产库的数据量，按比例导入- 新项目 ：根据业务预测未来 3-5 年的用户规模，以此为基准跑铺底数据数据量确定后，还需要关注数据分布。例如订单状态的比例（已完成:进行中:废弃 = 10:1:1）应与生产环境保持一致，否则会影响压测结果的真实性。数据分布不正确，即使数据量达标，压测结论也可能失真。