kettle 数据库迁移 使用分页原理实现 数据库mysql

使用 kettle 9.0

先修改配置文件:

C:\Users\xx\.kettle

新增如下配置,解决mysql 空字符串 自动转 null bug

KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL=Y

git地址: GitHub - 2292011451/kettle_tool

第一步:

先把要迁移的表进行读取,循环查询每个表的最大数量以及页数,追加到excel

第二部:

使用java代码读取excel数据算出每个表页码

java 复制代码
package com.hw.payment.test;

import com.alibaba.excel.EasyExcel;
import org.junit.Test;
import org.springframework.beans.BeanUtils;

import java.util.ArrayList;
import java.util.Comparator;
import java.util.List;
import java.util.stream.Collectors;

public class TableTest {
    /**
     * 计算分页数据
     */
    @Test
    public void synchronousRead() {
        String fileName = "D:\\software\\project\\company_project\\zhtc_pd\\db_job\\db_list.xls";
        // 这里 需要指定读用哪个class去读,然后读取第一个sheet 同步读取会自动finish
        List<TablePageNum> list = EasyExcel.read(fileName).head(TablePageNum.class).sheet().doReadSync();
        //移除pagesize==0
        List<TablePageNum> collect = list.stream().filter(x -> x.getPageNum() != 0).collect(Collectors.toList());
        //正序排序
        List<TablePageNum> sortedPeople = collect.stream().sorted(Comparator.comparingLong(TablePageNum::getMaxNum).thenComparing(TablePageNum::getPageNum)).collect(Collectors.toList());


        Long sortedPeopleNum = sortedPeople.stream()
                .map(TablePageNum::getMaxNum)
                .reduce(0L, Long::sum);

        //按大小切割数据
        Long maxNum = 0L;
        List<TablePageNum> dataList = new ArrayList<>();
        List<List<TablePageNum>> datas = new ArrayList<>();
        boolean b = sortedPeople.size() == 1;
        if (b) {
            datas.add(dataList);
        } else {
            for (TablePageNum sortedPerson : sortedPeople) {
                maxNum += sortedPerson.getMaxNum();
                if (maxNum <= 7000000) {
                    dataList.add(sortedPerson);
                } else if (maxNum > 7000000 && maxNum < 12000000) {
                    dataList.add(sortedPerson);
                    datas.add(dataList);
                    dataList = new ArrayList<>();
                    maxNum = 0L;
                } else {
                    dataList.add(sortedPerson);
                    datas.add(dataList);
                    dataList = new ArrayList<>();
                    maxNum = 0L;
                }

            }
        }


        Long maxNumNew = 0L;
        for (int k = 0; k < datas.size(); k++) {
            List<TablePageNum> tablePageNums = datas.get(k);
            List<TablePageNum> dataNew = new ArrayList<>();
            for (TablePageNum tablePageNum : tablePageNums) {
                maxNumNew += tablePageNum.getMaxNum();
                //排除定时任务等表
                boolean contains = true;
                String[] tables = {"qrtz"};
                for (String table : tables) {
                    //排除表
                    contains = tablePageNum.getTableName().contains(table);
                    if (contains) {
                        contains = false;
                        break;
                    }
                }
                if (!contains) {
                    Integer pageNum = tablePageNum.getPageNum();
                    Integer pageSize = tablePageNum.getPageSize();
                    for (int i = 1; i <= pageNum; i++) {
                        TablePageNum data = new TablePageNum();
                        int pageNumIndex = (i - 1) * pageSize;
                        BeanUtils.copyProperties(tablePageNum, data);
                        data.setPageNum(pageNumIndex);
                        dataNew.add(data);
                    }
                }
            }
            String fileNameOut = "D:\\software\\project\\company_project\\zhtc_pd\\db_job\\page_data\\db_list" + k + ".xlsx";
            // 这里 需要指定写用哪个class去写,然后写到第一个sheet,名字为模板 然后文件流会自动关闭
            // 如果这里想使用03 则 传入excelType参数即可
            EasyExcel.write(fileNameOut, TablePageNum.class).sheet("模板").doWrite(dataNew);
        }
        System.out.println(sortedPeopleNum + ":" + maxNumNew);
    }
}

输出页码数据

第三部:

读取页码数据循环查询数据插入到新库

相关推荐
斜月三1 小时前
windows部署多实例filebeat监控相同路径下文件
windows·filebeat
workflower2 小时前
MDSE和敏捷开发相互矛盾之处:方法论本质的冲突
数据库·软件工程·敏捷流程·极限编程
Tony小周3 小时前
实现一个点击输入框可以弹出的数字软键盘控件 qt 5.12
开发语言·数据库·qt
lifallen3 小时前
Paimon 原子提交实现
java·大数据·数据结构·数据库·后端·算法
TDengine (老段)3 小时前
TDengine 数据库建模最佳实践
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
Elastic 中国社区官方博客4 小时前
Elasticsearch 字符串包含子字符串:高级查询技巧
大数据·数据库·elasticsearch·搜索引擎·全文检索·lucene
Gauss松鼠会4 小时前
GaussDB应用场景全景解析:从金融核心到物联网的分布式数据库实践
数据库·分布式·物联网·金融·database·gaussdb
守城小轩4 小时前
Chromium 136 编译指南 - Android 篇:开发工具安装(三)
android·数据库·redis
尽兴-4 小时前
如何将多个.sql文件合并成一个:Windows和Linux/Mac详细指南
linux·数据库·windows·sql·macos
小小不董5 小时前
深入理解oracle ADG和RAC
linux·服务器·数据库·oracle·dba