Rstudio 与 R 打开 Rdata (压缩文件) 差异

背景

有个 R 数据文件(.Rdata),里面存了一个名为 data 的数据框,包含 5万多个观测,2千多个变量,每个变量都有 label 等属性

复制代码
> str(data)
'data.frame':	5w obs. of  2k variables:
 $ n_eid                                                      : num  1e+06 1e+06 1e+06 1e+06 1e+06 ...
  ..- attr(*, "label")= chr "Encoded anonymised participant ID"
 $ age0                                                       : num  60 62 66 42 55 47 48 61 69 43 ...
  ..- attr(*, "label")= chr "age, years"
  ..- attr(*, "source_field")= chr "s_53_0_0, n_34_0_0"
 $ sex                                                        : Factor w/ 2 levels "0","1": 2 1 2 2 1 1 2 2 2 1 ...
  ..- attr(*, "labels")= Named chr [1:2] "Female" "Male"
  .. ..- attr(*, "names")= chr [1:2] "0" "1"
  ..- attr(*, "label")= chr "Sex"
  ..- attr(*, "source_field")= chr "n_31_0_0"
 $ height0                                                    : num  181 158 191 177 172 165 172 177 171 158 ...
  ..- attr(*, "label")= chr "Standing height, cm"
  ..- attr(*, "source_field")= chr "n_50_0_0"
 $ weight0                                                    : num  90.1 89.1 96.1 73.7 87.4 ...
  ..- attr(*, "label")= chr "Weight, Kg"
  ..- attr(*, "source_field")= chr "n_21002_0_0"
 $ bmi0                                                       : num  27.5 35.7 26.3 23.5 29.5 ...
  ..- attr(*, "label")= chr "Body mass index (BMI), Kg/m2"
  ..- attr(*, "source_field")= chr "n_21001_0_0"

原始文件大小约为 300M

复制代码
> file.size('~/1_前处理.Rdata')/ 1024^2
[1] 298.9328

当在 R studio 加载再保存后,文件大小变为了 7.3G !!!

复制代码
> load('~/1_前处理.Rdata')
> save(all, file = '~/1_前处理copy.Rdata')
> 
> file.size('~/1_前处理copy.Rdata')/ 1024^3
[1] 7.403472

测试

经过多次测试发现,在 R 软件种,或 terminal 中打开 R,或用 Rscript 调用脚本,运行以下代码

复制代码
> file.size('~/1_前处理.Rdata')/1024^2 
> save(all, file = '~/1_前处理copy.Rdata')
> file.size('~/1_前处理copy.Rdata')/ 1024^3

产生的 copy.Rdata 文件大小均没有膨胀(298.93 M)

推测原因

在 R 内存中数据对象一直是被压缩/引用共享的状态。如数据中有大量重复的数据结构,该数据会被完美压缩。Rstudio 中为了可视化,大部分 R 对象均被展开,非常消耗内存,当 save 该对象时,这个对象不会被真正压缩,所以文件会非常大。

相关推荐
feixing_fx4 小时前
第一个 JS 程序:在浏览器控制台和 Node 中分别运行
开发语言·前端·javascript·前端框架·ecmascript
feixing_fx5 小时前
变量与声明:let、const、var 的选择边界
开发语言·前端·javascript·前端框架
兴趣互联6 小时前
jeecgboot nacos2.3.2 使用pgsql
java
hudd6687 小时前
JavaEE 初阶 - 文件操作和IO
java·开发语言·java-ee
JavaGuide8 小时前
Cloudflare 开源的这套神级安全审计 Skill 太好用了!
前端·后端
Flynn Liang8 小时前
HikariCP 连接池不是越大越好:I/O 密集型 Java 服务的数据库容量工程
java·数据库·mysql·高并发·连接池·hikaricp·sql 优化
学长毕设8 小时前
基于SpringBoot社区快递驿站物流配送系统-附源码
java·spring boot·后端
Flynt8 小时前
Java4Shell 实测:EPYC 一跑就中招,关掉 Base64 硬件加速,1KB 解码慢 14 倍
java·安全·性能优化
Resean02238 小时前
Spring 源码分析(七)AOP 原理(上):代理的创建
java·后端·spring
孟健9 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程