R语言快速读取数据vroom

R语言快速读取大文件

想象一下，一辆赛车在巴音布鲁克赛道上，嗖的一声飞驰而过，这种场景是不是很酷！R语言中，如果用vroom读取一个GB级别的大文件，也能体会到这种速度感。

今天分享的一个R小技巧是读取大文件的最佳方式，尤其是GB以上的文件，比如常见的csv、tsv、txt等类型的文件。还可以批量读取、远程读取、自动解压缩，用起来体验非常不错。

如何使用？

复制代码

install.packages("vroom")
library(vroom)

# install.packages("pak")
pak::pak("tidyverse/vroom")

首先安装一下，这个包是属于tidyverse生态圈，由Rstudio公司官方维护，主要是用C++进行优化。

官方宣称的速度可以达到1.23 GB/s

读取一个1.55G的文件，使用传统方式一分半，用vroom几秒钟就完成

vroom有自动识别文件格式功能，所以不管是csv，还是tsv文件都只需要同一个读取指令vroom("xxx.csv")就可以。

读取CSV文件

复制代码

vroom::vroom("mtcars.tsv",
  col_types = list(cyl = "i", gear = "f",hp = "i", disp = "_",
                   drat = "_", vs = "l", am = "l", carb = "i")
)
#> # A tibble: 32 × 10
#>   model           mpg   cyl    hp    wt  qsec vs    am    gear   carb
#>   <chr>         <dbl> <int> <int> <dbl> <dbl> <lgl> <lgl> <fct> <int>
#> 1 Mazda RX4      21       6   110  2.62  16.5 FALSE TRUE  4         4
#> 2 Mazda RX4 Wag  21       6   110  2.88  17.0 FALSE TRUE  4         4
#> 3 Datsun 710     22.8     4    93  2.32  18.6 TRUE  TRUE  4         1
#> # ℹ 29 more rows

使用vroom包的vroom函数来读取一个名为"mtcars.tsv"的TSV文件（制表符分隔的值）。它指定了列的类型通过col_types参数。按照指定的列类型读取TSV文件，忽略不需要的列，确保数据以正确的格式被导入R环境中。

批量读取多个文件

复制代码

library(nycflights13)
purrr::iwalk(
  split(flights, flights$carrier),
  ~ { .x$carrier[[1]]; vroom::vroom_write(head(.x, 2), glue::glue("flights_{.y}.tsv"), delim = "\t") }
)

使用vroom包的vroom_write函数，这个函数的目的是将数据写入文件。head(.x, 2)取每个航空公司的前两条航班记录；glue::glue("flights_{.y}.tsv")使用glue包生成文件名，文件名包含航空公司代码；最后指定文件的分隔符为制表符（\t），生成的文件是.tsv格式。

直接读写压缩文件

复制代码

vroom_write(flights, "flights.tsv.gz")

# Check file sizes to show file is compressed
fs::file_size(c("flights.tsv", "flights.tsv.gz"))
#> 29.62M  7.87M

# Read the file back in
data <- vroom("flights.tsv.gz")

vroom_write函数可以将数据从R中导出为文件，比如这里直接导出为压缩文件，减少储存空间。

读取指定列的数据

复制代码

data <- vroom("flights.tsv", col_select = c(year, flight, tailnum))
#> Observations: 336,776
#> Variables: 3
#> chr [1]: tailnum
#> dbl [2]: year, flight

有的时候只需要部分数据，并不想全部导入，就可以用这种方法。

今天分享的小技巧就到这里结束啦，感谢您的阅读，如果感觉有所收获欢迎点在转发分享。这个方法在处理生物信息学大量数据时还是挺有用的，避免把时间浪费在文件读写上，让数据分析更加的丝滑流畅！

本文由mdnice多平台发布