达梦导入大数据

达梦导入大数据

Python脚本

python 复制代码
#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import os
import sys

INPUT_FILE  = "HB_LOWAIR1209.sql"
OUTPUT_FILE = "HB_LOWAIR20251127_final_gb18030.sql"

HEADER_LINES = [
    "WHENEVER SQLERROR CONTINUE;",
    "SET AUTOCOMMIT OFF;"
]

def detect_encoding(filepath):
    """简单探测编码,优先用 UTF-8,失败则试 GB18030 / GBK"""
    for enc in ['utf-8', 'gb18030', 'gbk']:
        try:
            with open(filepath, 'r', encoding=enc) as f:
                f.readline()  # 只读一行测试
            return enc
        except (UnicodeDecodeError, UnicodeError):
            continue
    return 'latin1'  # 最后兜底

def main():
    if not os.path.isfile(INPUT_FILE):
        print(f"错误:输入文件 '{INPUT_FILE}' 不存在!", file=sys.stderr)
        sys.exit(1)

    # 探测原始编码
    src_encoding = detect_encoding(INPUT_FILE)
    print(f"✓ 检测到源文件编码: {src_encoding}")

    # 流式写入:先写头部,再逐行复制原文件
    try:
        with open(INPUT_FILE, 'r', encoding=src_encoding, errors='replace') as fin, \
             open(OUTPUT_FILE, 'w', encoding='gb18030', newline='') as fout:

            # 写入头部
            for line in HEADER_LINES:
                fout.write(line + "\n")
            fout.write("\n")  # 空行分隔

            # 逐行复制原文件(避免内存爆炸)
            for line in fin:
                fout.write(line)

        print(f"✓ 成功生成 GB18030 编码文件: {OUTPUT_FILE}")
        print(f"  请手动执行后续 docker cp 和 disql 命令。")

    except Exception as e:
        print(f"❌ 处理过程中出错: {e}", file=sys.stderr)
        sys.exit(1)

if __name__ == "__main__":
    main()

执行脚本

复制代码
docker cp HB_LOWAIR20251127_final_gb18030.sql dm8_container:/tmp/

docker exec -d dm8_container sh -c "
  export LANG=zh_CN.GB18030 &&
  export LC_ALL=zh_CN.GB18030 &&
  export LD_LIBRARY_PATH=/opt/dmdbms/bin:\$LD_LIBRARY_PATH &&
  cd /tmp &&
  cat HB_LOWAIR20251127_final_gb18030.sql | /opt/dmdbms/bin/disql -L SYSDBA/SYSDBA001 > import.log 2>&1
"
相关推荐
得物技术几秒前
从研发经验到团队知识:Akashic知识工程实践|得物技术
数据库·程序员·架构
ClouGence20 分钟前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
wno7041 小时前
Centos下PostgreSQL安装部署详细步骤
java·数据库·spring boot
文丑颜不良啊1 小时前
InnoDB 和 MyISAM
数据库
ShineWinsu2 小时前
对于Qt:QVBoxLayout常见属性以及方法的解析
开发语言·数据库·c++·qt·gui·客户端·布局管理器
达梦产品与服务9 小时前
SQLark V4.4 更新 | 新增 SQL Server 数据库支持、自定义格式复制、Agent 辅助建表等 20+ 项功能已上线!
数据库
小Ti客栈11 小时前
MySQL 常用函数速查(完整篇)
数据库·mysql·adb
隔窗听雨眠11 小时前
高可用不止于数据库的全栈工程实践
数据库·架构设计·高可用
nice_lcj52014 小时前
MySQL 主从复制与读写分离:从库怎么跟着主库走
数据库·mysql·面试·binlog·读写分离·主从复制