kettle 数据库迁移 使用分页原理实现 数据库mysql

使用 kettle 9.0

先修改配置文件:

C:\Users\xx\.kettle

新增如下配置,解决mysql 空字符串 自动转 null bug

KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL=Y

git地址: GitHub - 2292011451/kettle_tool

第一步:

先把要迁移的表进行读取,循环查询每个表的最大数量以及页数,追加到excel

第二部:

使用java代码读取excel数据算出每个表页码

java 复制代码
package com.hw.payment.test;

import com.alibaba.excel.EasyExcel;
import org.junit.Test;
import org.springframework.beans.BeanUtils;

import java.util.ArrayList;
import java.util.Comparator;
import java.util.List;
import java.util.stream.Collectors;

public class TableTest {
    /**
     * 计算分页数据
     */
    @Test
    public void synchronousRead() {
        String fileName = "D:\\software\\project\\company_project\\zhtc_pd\\db_job\\db_list.xls";
        // 这里 需要指定读用哪个class去读,然后读取第一个sheet 同步读取会自动finish
        List<TablePageNum> list = EasyExcel.read(fileName).head(TablePageNum.class).sheet().doReadSync();
        //移除pagesize==0
        List<TablePageNum> collect = list.stream().filter(x -> x.getPageNum() != 0).collect(Collectors.toList());
        //正序排序
        List<TablePageNum> sortedPeople = collect.stream().sorted(Comparator.comparingLong(TablePageNum::getMaxNum).thenComparing(TablePageNum::getPageNum)).collect(Collectors.toList());


        Long sortedPeopleNum = sortedPeople.stream()
                .map(TablePageNum::getMaxNum)
                .reduce(0L, Long::sum);

        //按大小切割数据
        Long maxNum = 0L;
        List<TablePageNum> dataList = new ArrayList<>();
        List<List<TablePageNum>> datas = new ArrayList<>();
        boolean b = sortedPeople.size() == 1;
        if (b) {
            datas.add(dataList);
        } else {
            for (TablePageNum sortedPerson : sortedPeople) {
                maxNum += sortedPerson.getMaxNum();
                if (maxNum <= 7000000) {
                    dataList.add(sortedPerson);
                } else if (maxNum > 7000000 && maxNum < 12000000) {
                    dataList.add(sortedPerson);
                    datas.add(dataList);
                    dataList = new ArrayList<>();
                    maxNum = 0L;
                } else {
                    dataList.add(sortedPerson);
                    datas.add(dataList);
                    dataList = new ArrayList<>();
                    maxNum = 0L;
                }

            }
        }


        Long maxNumNew = 0L;
        for (int k = 0; k < datas.size(); k++) {
            List<TablePageNum> tablePageNums = datas.get(k);
            List<TablePageNum> dataNew = new ArrayList<>();
            for (TablePageNum tablePageNum : tablePageNums) {
                maxNumNew += tablePageNum.getMaxNum();
                //排除定时任务等表
                boolean contains = true;
                String[] tables = {"qrtz"};
                for (String table : tables) {
                    //排除表
                    contains = tablePageNum.getTableName().contains(table);
                    if (contains) {
                        contains = false;
                        break;
                    }
                }
                if (!contains) {
                    Integer pageNum = tablePageNum.getPageNum();
                    Integer pageSize = tablePageNum.getPageSize();
                    for (int i = 1; i <= pageNum; i++) {
                        TablePageNum data = new TablePageNum();
                        int pageNumIndex = (i - 1) * pageSize;
                        BeanUtils.copyProperties(tablePageNum, data);
                        data.setPageNum(pageNumIndex);
                        dataNew.add(data);
                    }
                }
            }
            String fileNameOut = "D:\\software\\project\\company_project\\zhtc_pd\\db_job\\page_data\\db_list" + k + ".xlsx";
            // 这里 需要指定写用哪个class去写,然后写到第一个sheet,名字为模板 然后文件流会自动关闭
            // 如果这里想使用03 则 传入excelType参数即可
            EasyExcel.write(fileNameOut, TablePageNum.class).sheet("模板").doWrite(dataNew);
        }
        System.out.println(sortedPeopleNum + ":" + maxNumNew);
    }
}

输出页码数据

第三部:

读取页码数据循环查询数据插入到新库

相关推荐
向葭奔赴♡5 分钟前
Spring Boot 分模块:从数据库到前端接口
数据库·spring boot·后端
JosieBook35 分钟前
【数据库】时序数据库选型指南:在大数据与工业4.0时代,为何 Apache IoTDB 成为智慧之选?
大数据·数据库·时序数据库
程序员三明治36 分钟前
详解Redis锁误删、原子性难题及Redisson加锁底层原理、WatchDog续约机制
java·数据库·redis·分布式锁·redisson·watchdog·看门狗
chenzhou__44 分钟前
MYSQL学习笔记(个人)(第十五天)
linux·数据库·笔记·学习·mysql
一只自律的鸡2 小时前
【MySQL】第二章 基本的SELECT语句
数据库·mysql
liliangcsdn3 小时前
如何使用python创建和维护sqlite3数据库
数据库·sqlite
雨中风华4 小时前
Windows 平台 HOOK DWM 桌面管理程序,实现输出变形的桌面图像到显示器
windows·计算机外设
做咩啊~5 小时前
Windows家庭版远程时提示‘这可能是因为在远程计算机上阻止 NTLM 身份验证 这也可能是由于 CredSSP 加密 Oracle 修正所导致的。’
windows
淮北4948 小时前
windows安装minicoda
windows·python·conda
TDengine (老段)9 小时前
TDengine 数学函数 DEGRESS 用户手册
大数据·数据库·sql·物联网·时序数据库·iot·tdengine