DuckDB数据分析实战:CSV文件导入导出

在数据分析领域,CSV(Comma-Separated Values)是一种非常通用的数据交换格式。无论是 Excel 导出的报表、业务系统产生的数据、日志文件,还是不同数据库之间的数据传输,CSV 常常都是首选格式。

DuckDB 作为近年来最受欢迎的分析型数据库之一,对于 CSV 格式提供了开箱即用的支持。它不仅能够直接查询 CSV 文件,还能够快速将 CSV 导入数据库表,或者将查询结果导出为 CSV 文件。

本文使用的示例文件 databases.csv 内容如下:

text 复制代码
name, type, version
sqlite, oltp, 3.53.3
duckdb, olap, 1.5.4
mysql, oltp, 9.7.0

直接读取 CSV 文件

DuckDB 可以自动识别 CSV 文件格式、列名和字段类型,因此很多场景下甚至不需要创建表,直接查询文件即可。其中,最标准的方式是使用 read_csv() 函数。例如:

sql 复制代码
SELECT * FROM read_csv('databases.csv');

┌─────────┬─────────┬─────────┐
│  name   │  type   │ version │
│ varchar │ varchar │ varchar │
├─────────┼─────────┼─────────┤
│ sqlite  │  oltp   │  3.53.3 │
│ duckdb  │  olap   │  1.5.4  │
│ mysql   │  oltp   │  9.7.0  │
└─────────┴─────────┴─────────┘

DuckDB 可以自动解析文件内容并推断字段类型。当然,我们也可以显式指定字段类型等参数。例如:

sql 复制代码
SELECT *
FROM read_csv(
    'databases.csv',
    delim = ',',
    header = true,
    columns = {
        'name': 'VARCHAR',
        'type': 'VARCHAR',
        'version': 'VARCHAR'
    }
);

其中,delim 用于指定字段分隔符,header 表示是否包含表头,columns 用于指定字段类型。

更多关于 read_csv() 函数参数的介绍,可以参考官方文档。

不仅如此,DuckDB 还能够根据文件扩展名自动识别 CSV 文件,因此甚至可以省略 read_csv() 函数:

sql 复制代码
SELECT * FROM 'databases.csv';

# 使用FROM优先的查询语法
FROM 'databases.csv' SELECT *;

这种写法更加简洁,也是许多 DuckDB 用户的常用写法。

如果某个目录下包含多个格式类似的文件,可以使用通配符一次读取。例如:

sql 复制代码
SELECT *
FROM read_csv('data/*.csv');

DuckDB 会把多个文件的数据自动合并成一个结果。

CSV 文件导入数据表

如果想要长期保存数据,可以基于 CSV 文件创建数据库表并导入数据:

sql 复制代码
CREATE TABLE db AS
SELECT *
FROM read_csv('databases.csv');

SELECT * FROM db;

DuckDB 会自动基于 CSV 文件推断字段类型并创建表,然后导入全部数据,整个过程一步完成。

同样,我们也可以采用 FROM 优先的查询语法进一步简化语句:

sql 复制代码
CREATE TABLE db AS
FROM 'databases.csv';

另一种场景是目标表已经存在,可以使用 INSERT INTO 语句导入数据:

sql 复制代码
DELETE FROM db;

INSERT INTO db
SELECT * FROM read_csv('databases.csv');

针对大批量数据导入场景,DuckDB 还提供了专门的数据装载语句(COPY):

sql 复制代码
DELETE FROM db;

COPY db
FROM 'databases.csv';

数据导出到 CSV 文件

如果想要把表中的数据导出为 CSV 文件,可以使用 COPY 语句。例如:

sql 复制代码
COPY db TO 'output.csv' (HEADER, DELIMITER ',');

其中,output.csv 是文件名,HEADER 表示导出表头,DELIMITER 指定字段的分隔符。

另外,COPY 语句也可以用于导出查询结果。例如:

sql 复制代码
COPY (SELECT name, version FROM db)
TO 'output.csv' (HEADER, DELIMITER ',');

总结

DuckDB 对于 CSV 格式的支持非常完善,既可以直接查询 CSV 文件,也可以导入到数据库表中,还可以将查询结果或表数据导出为 CSV 文件。同时,它还具备 CSV 格式自动探测功能,可以识别分隔符、表头、数据类型等信息,因此大部分情况下无需手工配置。

相关推荐
培培说证2 小时前
大专商务数据分析与应用可以报考哪些职业证书?
人工智能·数据挖掘·数据分析
Aloudata4 小时前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒5 小时前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
databook11 小时前
时间序列特征,哪些当时就能算出来
python·数据分析
wang_yb11 小时前
时间序列特征,哪些当时就能算出来
数据分析·databook
kaixin_啊啊21 小时前
鱼类跨物种 DNA 序列预测:AQUA-FAANG 数据下载与操作指南
数据分析
GrowingIO技术社区1 天前
事件与属性怎么设计?一份埋点需求表的填写示例
数据分析
benchmark_cc2 天前
个人开发者接入五档盘口:用 QuantDash 读取单只股票的验收清单与易错点
python·数据分析·pandas·量化交易·股票数据·quantdash
AllData公司负责人2 天前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
GrowingIO技术社区2 天前
埋点方案怎么写?从业务问题到事件设计与验收
数据分析