R读写parquet文件

什么是parquet文件

Apache Parquet是一个开源的,列存储的数据文件格式。

https://parquet.apache.org/

在R里面,我们可以通过arrow包来读写它。

我们先安装一下arrow包,并加载它。

复制代码
install.packages("arrow")
library(arrow)

读写parquet文件

我们目前没有parquet的文件在本地,先用arrow包里面的write_parquet写一个。

复制代码
write_parquet(
  x,
  sink,
  chunk_size = NULL,
  version = "2.4",
  compression = default_parquet_compression(),
  compression_level = NULL,
  use_dictionary = NULL,
  write_statistics = NULL,
  data_page_size = NULL,
  use_deprecated_int96_timestamps = FALSE,
  coerce_timestamps = NULL,
  allow_truncated_timestamps = FALSE
)

我们写一下cars,然后读取它。

复制代码
 write_parquet(cars, "cars.parquet")
df_from_parquet <- read_parquet("cars.parquet")
相关推荐
weixin_519535773 小时前
从ChatGPT到新质生产力:一份数据驱动的AI研究方向指南
人工智能·深度学习·机器学习·ai·chatgpt·数据分析·aigc
青云交9 小时前
Java 大视界 -- Java 大数据在智能电网电力市场交易数据分析与策略制定中的关键作用
数据分析·数据采集·数据存储·交易策略·智能电网·java 大数据·电力市场交易
cx330上的猫11 小时前
价值1w的数据分析课知识点汇总-excel使用(第一篇)
数据挖掘·数据分析·excel
CodeJourney.12 小时前
SQL提数与数据分析指南
数据库·信息可视化·数据分析
聊聊MES那点事13 小时前
电脑零配件行业MES系统:快速实现全过程信息溯源
信息可视化·数据分析·数据可视化·mes
F_D_Z1 天前
探索性数据分析|概念辨析
数据挖掘·数据分析
数据智能老司机2 天前
构建 Medallion 架构——构建 Silver 层
大数据·架构·数据分析
数据智能老司机2 天前
构建 Medallion 架构——构建 Bronze 层
大数据·架构·数据分析
数据智能老司机2 天前
构建 Medallion 架构——数据架构的演进
大数据·架构·数据分析
数据智能老司机2 天前
构建 Medallion 架构——深入解读Medallion架构
大数据·架构·数据分析