R读写parquet文件

什么是parquet文件

Apache Parquet是一个开源的,列存储的数据文件格式。

https://parquet.apache.org/

在R里面,我们可以通过arrow包来读写它。

我们先安装一下arrow包,并加载它。

复制代码
install.packages("arrow")
library(arrow)

读写parquet文件

我们目前没有parquet的文件在本地,先用arrow包里面的write_parquet写一个。

复制代码
write_parquet(
  x,
  sink,
  chunk_size = NULL,
  version = "2.4",
  compression = default_parquet_compression(),
  compression_level = NULL,
  use_dictionary = NULL,
  write_statistics = NULL,
  data_page_size = NULL,
  use_deprecated_int96_timestamps = FALSE,
  coerce_timestamps = NULL,
  allow_truncated_timestamps = FALSE
)

我们写一下cars,然后读取它。

复制代码
 write_parquet(cars, "cars.parquet")
df_from_parquet <- read_parquet("cars.parquet")
相关推荐
java1234_小锋21 小时前
基于Python的旅游推荐协同过滤算法系统(去哪儿网数据分析及可视化(Django+echarts))
python·数据分析·旅游
视频砖家1 天前
观众信息设置与统计(视频高级分析与统计功能)
数据分析·视频观看分析·视频数据分析
SelectDB1 天前
Apache Doris 实时更新技术揭秘:为何在 OLAP 领域表现卓越?
数据库·数据分析·apache
聚客AI1 天前
搜索引擎vs向量数据库:LangChain混合检索架构实战解析
人工智能·pytorch·语言模型·自然语言处理·数据分析·gpt-3·文心一言
一条破秋裤1 天前
一份多光谱数据分析
笔记·数据挖掘·数据分析
德育处主任Pro1 天前
「py数据分析」04如何将 Python 爬取的数据保存为 CSV 文件
数据库·python·数据分析
瓦力wow1 天前
数据分析-名词
运维·服务器·数据分析
cal_1 天前
数据分析中的拉链表解析
大数据·数据挖掘·数据分析
亿信华辰软件1 天前
亿信华辰赋能大学教务数据分析实战记
大数据·数据分析