利用 Local Data 导入文件到 OceanBase 的方法

背景

在很多传统方法中,数据的传输常依赖于csv格式。为了提高传输效率,属于同一张表的多个csv文件往往会被打包成gz文件进行传输。

当gz文件从上游传递到下游后,为了将其中的csv数据导入数据库,一种直接的做法是:

  1. 在客户机端解压gz文件。

  2. 使用local data local infile命令将解压后的csv文件按照通配符一次性全部导入到服务机上的数据库中。

然而,这种方法存在一个明显的弊端:解压gz文件既耗时又占用额外的存储空间。

有没有办法把 gz 文件直接导入到 OceanBase中呢?我们有两种思路:

方法一、让 OceanBase 识别 gz 文件,支持类似下面的命令:

复制代码
load data local infile '/home/xiaochu.yh/foo.gz' INTO table test.t1 fields terminated by '|';

这个方案在 OceanBase v4.3.3 中支持

方法二、使用 zcat 动态解压至 Unix 管道,并通过 /dev/stdin直接导入数据到 OceanBase:

复制代码
zcat  foo.gz | mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "load data local infile '/dev/stdin' INTO table test.t1 fields terminated by '|';"

下面的例子中演示了这种方法。将 1.txt 和 2.txt 打包成 foo.gz,然后导入到数据库 test.t1 表中,效果如下:

复制代码
[xiaochu.yh]cat 1.txt
1|1
1|1
1|1


[xiaochu.yh]cat 2.txt
2|2
2|2


[xiaochu.yh]gzip -c 1.txt 2.txt > foo.gz


[xiaochu.yh]mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "delete from t1;"


[xiaochu.yh]zcat foo.gz | mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "load data local infile '/dev/stdin' INTO table test.t1 fields terminated by '|';"


[xiaochu.yh]mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "select * from t1;"
c1      c2
1       1
1       1
1       1
2       2
2       2
相关推荐
冰 河2 天前
《Mycat核心技术》第21章:高可用负载均衡集群的实现(HAProxy + Keepalived + Mycat)
分布式·微服务·程序员·分布式数据库·mycat
韩曙亮5 天前
【系统架构设计师】数据库系统 ② ( 分布式数据库 | 分布式数据库 特点 | 分布式数据库 分层模式 | 两阶段提交协议 - 2PC 协议 )
数据库·分布式·系统架构·分布式数据库·软考·dbms·两阶段提交协议
ActionTech6 天前
ChatDBA VS DeepSeek:快速诊断 OceanBase 集群新租户数据同步异常
oceanbase·deepseek·chatdba·爱可生
码农老起7 天前
从Oracle到OceanBase数据库迁移:全方位技术解析
数据库·oracle·oceanbase
OceanBase数据库官方博客7 天前
数据文件误删除,OceanBase中如何重建受影响的节点
oceanbase·分布式数据库·运维管理·实践经验
码农老起11 天前
OceanBase数据库基于脚本的分布式存储层性能深度优化
数据库·分布式·oceanbase
码农老起11 天前
万亿级数据量的OceanBase应用从JVM到协议栈立体化改造实现性能调优
jvm·oceanbase
OceanBase数据库官方博客13 天前
OceanBase 读写分离最佳实践
oceanbase·分布式数据库·读写分离·最佳实践
OceanBase数据库官方博客14 天前
网易云信架构升级实践,故障恢复时间缩至8秒
oceanbase·分布式数据库·架构选型·布道师计划
OceanBase数据库官方博客16 天前
自然语言秒转SQL—— 免费体验 OB Cloud Text2SQL 数据查询
数据库·sql·ai·oceanbase·分布式数据库·向量·text2sql