使用Java根据表名导出与导入Sql

前言

很粗糙啊,有很多可以优化的地方,而且也不安全,但是临时用还是OK的,我这个是公司里面的单机软件,不联网。

嗨!我是一名社交媒体增长黑客,很高兴能帮助您优化和丰富关于批量作业导出和导入的文章。这个主题相当技术性,但我会将其分解为易于理解的部分。让我们开始吧!

简介

在当今快节奏的数字世界中,高效地导出和导入批量作业对于企业至关重要。批量作业操作涉及处理大量数据,拥有流畅的流程可以节省时间和精力。在本文中,我们将探讨一种基于Java的解决方案,可以让您无缝地导出和导入批量作业。

导出批量作业

提供的代码片段演示了如何使用基于Java的解决方案导出批量作业。以下是代码的详细说明:

  1. exportBatchJobs 方法负责导出批量作业。它使用 StringBuilder 构建每个表的 SQL 语句。

  2. getTableNames 方法使用 SHOW TABLES SQL 查询检索所有表名。

  3. 对于每个表,都会调用 downloadTable 方法。它查询表数据并为每一行生成 SQL 插入语句。

  4. 生成的 SQL 语句会追加到 sqlBuilder 中。

  5. 最后,sqlBuilder 的内容会写入 HTTP 响应,允许用户下载 SQL 文件。

为了优化这段代码,您可以考虑以下改进:

  • 使用 ExecutorServiceFuture 类实现多线程,以并行化导出过程。这可以显著提高性能,特别是在处理大量表时。

  • 探索优化 SQL 生成过程的方法。例如,可以使用批量插入而不是单个插入语句来提高效率。

java 复制代码
/**
     * 导出批次作业
     *
     * @author <a href = "mailto:zysicyj@163.com" > 公众号:【程序员朱永胜】 个人博客:【blog.zysicyj.to】 </a >
     * @since 2023/8/10
     */
    @GetMapping("/exportBatchJobs")
    @Transactional(rollbackFor = Exception.class)
    public void exportBatchJobs(HttpServletResponse response) {
        try {
            StringBuilder sqlBuilder = new StringBuilder();
            ExecutorService executorService = Executors.newFixedThreadPool(getTableNames().size());
            List<Future<?>> futures = new ArrayList<>();

            for (String tableName : getTableNames()) {
                Future<?> future = executorService.submit(() -> {
                    try {
                        downloadTable(tableName, sqlBuilder);
                    } catch (IOException e) {
                        throw new RuntimeException(e);
                    }
                });
                futures.add(future);
            }

            // Wait for all threads to finish
            for (Future<?> future : futures) {
                future.get();
            }

            // Set response headers for file download
            response.setContentType("application/octet-stream");
            response.setCharacterEncoding("UTF-8");
            response.setHeader(HttpHeaders.CONTENT_DISPOSITION, "attachment; filename=" + format(DateUtil.now(), "YYYY-MM-dd HH:mm:ss") + ".sql");

            response.getWriter().write(sqlBuilder.toString());

            executorService.shutdown();

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
java 复制代码
    /**
     * 获取所有表名
     *
     * @return java.util.List<java.lang.String>
     *
     * @author <a href = "mailto:zysicyj@163.com" > 公众号:【程序员朱永胜】 个人博客:【blog.zysicyj.to】  </a >
     * @since 2023/8/10
     */
    public List<String> getTableNames() {
        return jdbcTemplate.queryForList("SHOW TABLES", String.class);
    }
java 复制代码
/**
     * 导出指定表SQL
     *
     * @param tableName
     *         表明
     * @param sqlBuilder
     *         拼接sql
     *
     * @author <a href = "mailto:zysicyj@163.com" > 公众号:【程序员朱永胜】 个人博客:【blog.zysicyj.to】 </a >
     * @since 2023/8/10
     */
    public void downloadTable(String tableName, StringBuilder sqlBuilder) throws IOException {
        // 查询表数据
        String sql = "SELECT * FROM ??";
        List<Map<String, Object>> tableData = jdbcTemplate.queryForList(sql, tableName);
        // 拼接SQL插入语句
        for (Map<String, Object> row : tableData) {
            StringBuilder valuesBuilder = new StringBuilder();
            StringBuilder columnsBuilder = new StringBuilder();

            for (Map.Entry<String, Object> entry : row.entrySet()) {
                columnsBuilder.append(entry.getKey()).append(", ");

                if (entry.getValue() instanceof byte[]) {
                    byte[] binaryData = (byte[]) entry.getValue();
                    String hexString = bytesToHexString(binaryData);
                    valuesBuilder.append("0x").append(hexString).append(", ");
                } else {
                    valuesBuilder.append("'").append(entry.getValue()).append("', ");
                }
            }

            String columns = columnsBuilder.substring(0, columnsBuilder.length() - 2);
            String values = valuesBuilder.substring(0, valuesBuilder.length() - 2);

            sqlBuilder.append("INSERT INTO ").append(tableName).append(" (").append(columns).append(") VALUES (")
                    .append(values).append(");\n");
        }
    }

导出来的就是这种格式的文件

导入批量作业

提供的代码片段演示了如何导入包含批量作业数据的 SQL 文件。以下是代码的详细说明:

  1. executeSqlFile 方法处理导入过程。它接受一个 SQL 文件作为 MultipartFile 并读取其内容。

  2. 使用分号(;)分隔符将 SQL 文件内容拆分为单个语句。

  3. 使用参数化查询执行每个语句,确保安全性并防止 SQL 注入攻击。

  4. 如果 SQL 文件成功执行,则方法返回成功消息。否则,它会记录导入过程中出现的任何错误。

为了优化这段代码,您可以考虑以下改进:

  • 实现错误处理,并提供更详细的错误消息,以帮助用户排除导入过程中可能出现的任何问题。

  • 考虑在执行语句之前验证 SQL 文件内容。这可以帮助防止由格式错误或不兼容的 SQL 语句引起的潜在错误。

java 复制代码
/**
     * 导入SQL
     *
     * @return com.nari.common.core.domain.AjaxResult
     *
     * @author <a href = "mailto:zysicyj@163.com" > 公众号:【程序员朱永胜】 个人博客:【blog.zysicyj.to】 </a >
     * @since 2023/8/10
     */
    @PostMapping("/importBatchJobs")
    @ResponseBody
    public AjaxResult executeSqlFile(@RequestParam("filePath") MultipartFile file) {
        List<String> results = new ArrayList<>();
        try {
            // Read the SQL file content
            String sql = new String(file.getBytes());

            // Split the SQL file content into individual statements
            String[] statements = sql.split(";");

            // Execute each statement using parameterized queries
            for (String statement : statements) {
                // Skip empty statements
                if (statement.trim().isEmpty()) {
                    continue;
                }

                // Execute the statement using parameterized queries
                jdbcTemplate.update(statement);
            }

            return AjaxResult.success("SQL file executed successfully");
        } catch (IOException e) {
            results.add(e.getMessage());
        }
        log.info("导入失败的SQL数量:{},{}", results.size(), results);
        return success();
    }

总结

总之,本文探讨了一种基于Java的解决方案,用于导出和导入批量作业。导出过程检索表数据并生成 SQL 插入语句,允许用户下载 SQL 文件。导入过程读取 SQL 文件,将其拆分为单个语句,并使用参数化查询执行这些语句。通过优化代码并实现错误处理,您可以提高批量作业导出和导入功能的效率和可靠性。

希望这篇优化和丰富的文章能帮助您为读者提供有价值的见解。如果您有任何进一步的问题或需要额外的帮助,请随时提问!

相关推荐
Xiaokai丶25 分钟前
Java 8 新特性深度剖析:核心要点与代码实战
java
灵魂猎手28 分钟前
3. MyBatis Executor:SQL 执行的核心引擎
java·后端·源码
Galaxy在掘金28 分钟前
从业8年,谈谈我认知的后端架构之路-1
java·架构
落日漫游28 分钟前
K8s核心组件全解析
运维·docker·运维开发
花花无缺34 分钟前
MySQL 的存储引擎-InnoDB 和 MyISAM的对比
mysql
苏琢玉36 分钟前
如何让同事自己查数据?写一个零依赖 PHP SQL 查询工具就够了
mysql·php
努力努力再努力wz1 小时前
【c++深入系列】:万字详解模版(下)
java·c++·redis
Mr. zhihao1 小时前
SQL LEFT JOIN 与 WHERE 条件的隐藏坑
数据库·sql
代码的余温2 小时前
MySQL性能优化:10个关键参数调整指南
数据库·mysql·性能优化
瓦特what?2 小时前
关于C++的#include的超超超详细讲解
java·开发语言·数据结构·c++·算法·信息可视化·数据挖掘