R读写parquet文件

什么是parquet文件

Apache Parquet是一个开源的,列存储的数据文件格式。

https://parquet.apache.org/

在R里面,我们可以通过arrow包来读写它。

我们先安装一下arrow包,并加载它。

复制代码
install.packages("arrow")
library(arrow)

读写parquet文件

我们目前没有parquet的文件在本地,先用arrow包里面的write_parquet写一个。

复制代码
write_parquet(
  x,
  sink,
  chunk_size = NULL,
  version = "2.4",
  compression = default_parquet_compression(),
  compression_level = NULL,
  use_dictionary = NULL,
  write_statistics = NULL,
  data_page_size = NULL,
  use_deprecated_int96_timestamps = FALSE,
  coerce_timestamps = NULL,
  allow_truncated_timestamps = FALSE
)

我们写一下cars,然后读取它。

复制代码
 write_parquet(cars, "cars.parquet")
df_from_parquet <- read_parquet("cars.parquet")
相关推荐
IT毕设梦工厂1 天前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
大数据CLUB2 天前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
智数研析社2 天前
9120 部 TMDb 高分电影数据集 | 7 列全维度指标 (评分 / 热度 / 剧情)+API 权威源 | 电影趋势分析 / 推荐系统 / NLP 建模用
大数据·人工智能·python·深度学习·数据分析·数据集·数据清洗
qingyunliushuiyu2 天前
BI数据可视化:驱动数据价值释放的关键引擎
数据挖掘·数据分析·数据分析系统·数据分析平台·bi数据可视化
折翼的恶魔2 天前
数据分析:排序
python·数据分析·pandas
数据牧羊人的成长笔记2 天前
数据分析需要掌握的数学知识(易理解)
数学建模·数据分析
折翼的恶魔2 天前
数据分析:合并二
python·数据分析·pandas
kida_yuan3 天前
【从零开始】14. 数据评分与筛选
python·数据分析·nlp
寒月霜华3 天前
机器学习-探索性数据分析
数据挖掘·数据分析