kettle 数据库迁移 使用分页原理实现 数据库mysql

使用 kettle 9.0

先修改配置文件:

C:\Users\xx\.kettle

新增如下配置,解决mysql 空字符串 自动转 null bug

KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL=Y

git地址: GitHub - 2292011451/kettle_tool

第一步:

先把要迁移的表进行读取,循环查询每个表的最大数量以及页数,追加到excel

第二部:

使用java代码读取excel数据算出每个表页码

java 复制代码
package com.hw.payment.test;

import com.alibaba.excel.EasyExcel;
import org.junit.Test;
import org.springframework.beans.BeanUtils;

import java.util.ArrayList;
import java.util.Comparator;
import java.util.List;
import java.util.stream.Collectors;

public class TableTest {
    /**
     * 计算分页数据
     */
    @Test
    public void synchronousRead() {
        String fileName = "D:\\software\\project\\company_project\\zhtc_pd\\db_job\\db_list.xls";
        // 这里 需要指定读用哪个class去读,然后读取第一个sheet 同步读取会自动finish
        List<TablePageNum> list = EasyExcel.read(fileName).head(TablePageNum.class).sheet().doReadSync();
        //移除pagesize==0
        List<TablePageNum> collect = list.stream().filter(x -> x.getPageNum() != 0).collect(Collectors.toList());
        //正序排序
        List<TablePageNum> sortedPeople = collect.stream().sorted(Comparator.comparingLong(TablePageNum::getMaxNum).thenComparing(TablePageNum::getPageNum)).collect(Collectors.toList());


        Long sortedPeopleNum = sortedPeople.stream()
                .map(TablePageNum::getMaxNum)
                .reduce(0L, Long::sum);

        //按大小切割数据
        Long maxNum = 0L;
        List<TablePageNum> dataList = new ArrayList<>();
        List<List<TablePageNum>> datas = new ArrayList<>();
        boolean b = sortedPeople.size() == 1;
        if (b) {
            datas.add(dataList);
        } else {
            for (TablePageNum sortedPerson : sortedPeople) {
                maxNum += sortedPerson.getMaxNum();
                if (maxNum <= 7000000) {
                    dataList.add(sortedPerson);
                } else if (maxNum > 7000000 && maxNum < 12000000) {
                    dataList.add(sortedPerson);
                    datas.add(dataList);
                    dataList = new ArrayList<>();
                    maxNum = 0L;
                } else {
                    dataList.add(sortedPerson);
                    datas.add(dataList);
                    dataList = new ArrayList<>();
                    maxNum = 0L;
                }

            }
        }


        Long maxNumNew = 0L;
        for (int k = 0; k < datas.size(); k++) {
            List<TablePageNum> tablePageNums = datas.get(k);
            List<TablePageNum> dataNew = new ArrayList<>();
            for (TablePageNum tablePageNum : tablePageNums) {
                maxNumNew += tablePageNum.getMaxNum();
                //排除定时任务等表
                boolean contains = true;
                String[] tables = {"qrtz"};
                for (String table : tables) {
                    //排除表
                    contains = tablePageNum.getTableName().contains(table);
                    if (contains) {
                        contains = false;
                        break;
                    }
                }
                if (!contains) {
                    Integer pageNum = tablePageNum.getPageNum();
                    Integer pageSize = tablePageNum.getPageSize();
                    for (int i = 1; i <= pageNum; i++) {
                        TablePageNum data = new TablePageNum();
                        int pageNumIndex = (i - 1) * pageSize;
                        BeanUtils.copyProperties(tablePageNum, data);
                        data.setPageNum(pageNumIndex);
                        dataNew.add(data);
                    }
                }
            }
            String fileNameOut = "D:\\software\\project\\company_project\\zhtc_pd\\db_job\\page_data\\db_list" + k + ".xlsx";
            // 这里 需要指定写用哪个class去写,然后写到第一个sheet,名字为模板 然后文件流会自动关闭
            // 如果这里想使用03 则 传入excelType参数即可
            EasyExcel.write(fileNameOut, TablePageNum.class).sheet("模板").doWrite(dataNew);
        }
        System.out.println(sortedPeopleNum + ":" + maxNumNew);
    }
}

输出页码数据

第三部:

读取页码数据循环查询数据插入到新库

相关推荐
得物技术14 小时前
MySQL单表为何别超2000万行?揭秘B+树与16KB页的生死博弈|得物技术
数据库·后端·mysql
可涵不会debug18 小时前
【IoTDB】时序数据库选型指南:工业大数据场景下的技术突围
数据库·时序数据库
ByteBlossom18 小时前
MySQL 面试场景题之如何处理 BLOB 和CLOB 数据类型?
数据库·mysql·面试
麦兜*18 小时前
MongoDB Atlas 云数据库实战:从零搭建全球多节点集群
java·数据库·spring boot·mongodb·spring·spring cloud
Slaughter信仰19 小时前
深入理解Java虚拟机:JVM高级特性与最佳实践(第3版)第十章知识点问答(10题)
java·jvm·数据库
麦兜*19 小时前
MongoDB 在物联网(IoT)中的应用:海量时序数据处理方案
java·数据库·spring boot·物联网·mongodb·spring
-Xie-19 小时前
Mysql杂志(十六)——缓存池
数据库·mysql·缓存
七夜zippoe19 小时前
缓存与数据库一致性实战手册:从故障修复到架构演进
数据库·缓存·架构
一个天蝎座 白勺 程序猿20 小时前
Apache IoTDB(5):深度解析时序数据库 IoTDB 在 AINode 模式单机和集群的部署与实践
数据库·apache·时序数据库·iotdb·ainode