利用 Local Data 导入文件到 OceanBase 的方法

背景

在很多传统方法中,数据的传输常依赖于csv格式。为了提高传输效率,属于同一张表的多个csv文件往往会被打包成gz文件进行传输。

当gz文件从上游传递到下游后,为了将其中的csv数据导入数据库,一种直接的做法是:

  1. 在客户机端解压gz文件。

  2. 使用local data local infile命令将解压后的csv文件按照通配符一次性全部导入到服务机上的数据库中。

然而,这种方法存在一个明显的弊端:解压gz文件既耗时又占用额外的存储空间。

有没有办法把 gz 文件直接导入到 OceanBase中呢?我们有两种思路:

方法一、让 OceanBase 识别 gz 文件,支持类似下面的命令:

复制代码
load data local infile '/home/xiaochu.yh/foo.gz' INTO table test.t1 fields terminated by '|';

这个方案在 OceanBase v4.3.3 中支持

方法二、使用 zcat 动态解压至 Unix 管道,并通过 /dev/stdin直接导入数据到 OceanBase:

复制代码
zcat  foo.gz | mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "load data local infile '/dev/stdin' INTO table test.t1 fields terminated by '|';"

下面的例子中演示了这种方法。将 1.txt 和 2.txt 打包成 foo.gz,然后导入到数据库 test.t1 表中,效果如下:

复制代码
[xiaochu.yh]cat 1.txt
1|1
1|1
1|1


[xiaochu.yh]cat 2.txt
2|2
2|2


[xiaochu.yh]gzip -c 1.txt 2.txt > foo.gz


[xiaochu.yh]mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "delete from t1;"


[xiaochu.yh]zcat foo.gz | mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "load data local infile '/dev/stdin' INTO table test.t1 fields terminated by '|';"


[xiaochu.yh]mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "select * from t1;"
c1      c2
1       1
1       1
1       1
2       2
2       2
相关推荐
OceanBase数据库官方博客1 天前
向量检索新选择:FastGPT + OceanBase,快速构建RAG
人工智能·oceanbase·分布式数据库·向量数据库·rag
胖头鱼的鱼缸(尹海文)11 天前
数据库管理-第313期 分布式挑战单机,OceanBase单机版试玩(20250411)
数据库·分布式·oceanbase
GottdesKrieges13 天前
OceanBase企业版单机部署:obd命令行方式
数据库·oceanbase
好记忆不如烂笔头abc13 天前
oceanbase开启内存大页
linux·服务器·oceanbase
OceanBase数据库官方博客14 天前
OceanBase 推出单机版 ,为中小规模业务提供高性价比方案
oceanbase·单机数据库
OceanBase数据库官方博客15 天前
OceanBase V4.3.5 上线全文索引功能,让数据检索更高效
全文检索·oceanbase·分布式数据库·产品特性
OceanBase数据库官方博客15 天前
多点:分布式升级助力新零售转型,成本节省超80% | OceanBase 案例
oceanbase·零售·架构选型·布道师计划·电商与零售
OceanBase数据库官方博客15 天前
火山模型的优缺点与优化实践 | OceanBase SQL优化
sql·oceanbase·分布式数据库
冰 河25 天前
《Mycat核心技术》第21章:高可用负载均衡集群的实现(HAProxy + Keepalived + Mycat)
分布式·微服务·程序员·分布式数据库·mycat
韩曙亮1 个月前
【系统架构设计师】数据库系统 ② ( 分布式数据库 | 分布式数据库 特点 | 分布式数据库 分层模式 | 两阶段提交协议 - 2PC 协议 )
数据库·分布式·系统架构·分布式数据库·软考·dbms·两阶段提交协议