Rstudio 与 R 打开 Rdata (压缩文件) 差异

背景

有个 R 数据文件(.Rdata),里面存了一个名为 data 的数据框,包含 5万多个观测,2千多个变量,每个变量都有 label 等属性

复制代码
> str(data)
'data.frame':	5w obs. of  2k variables:
 $ n_eid                                                      : num  1e+06 1e+06 1e+06 1e+06 1e+06 ...
  ..- attr(*, "label")= chr "Encoded anonymised participant ID"
 $ age0                                                       : num  60 62 66 42 55 47 48 61 69 43 ...
  ..- attr(*, "label")= chr "age, years"
  ..- attr(*, "source_field")= chr "s_53_0_0, n_34_0_0"
 $ sex                                                        : Factor w/ 2 levels "0","1": 2 1 2 2 1 1 2 2 2 1 ...
  ..- attr(*, "labels")= Named chr [1:2] "Female" "Male"
  .. ..- attr(*, "names")= chr [1:2] "0" "1"
  ..- attr(*, "label")= chr "Sex"
  ..- attr(*, "source_field")= chr "n_31_0_0"
 $ height0                                                    : num  181 158 191 177 172 165 172 177 171 158 ...
  ..- attr(*, "label")= chr "Standing height, cm"
  ..- attr(*, "source_field")= chr "n_50_0_0"
 $ weight0                                                    : num  90.1 89.1 96.1 73.7 87.4 ...
  ..- attr(*, "label")= chr "Weight, Kg"
  ..- attr(*, "source_field")= chr "n_21002_0_0"
 $ bmi0                                                       : num  27.5 35.7 26.3 23.5 29.5 ...
  ..- attr(*, "label")= chr "Body mass index (BMI), Kg/m2"
  ..- attr(*, "source_field")= chr "n_21001_0_0"

原始文件大小约为 300M

复制代码
> file.size('~/1_前处理.Rdata')/ 1024^2
[1] 298.9328

当在 R studio 加载再保存后,文件大小变为了 7.3G !!!

复制代码
> load('~/1_前处理.Rdata')
> save(all, file = '~/1_前处理copy.Rdata')
> 
> file.size('~/1_前处理copy.Rdata')/ 1024^3
[1] 7.403472

测试

经过多次测试发现,在 R 软件种,或 terminal 中打开 R,或用 Rscript 调用脚本,运行以下代码

复制代码
> file.size('~/1_前处理.Rdata')/1024^2 
> save(all, file = '~/1_前处理copy.Rdata')
> file.size('~/1_前处理copy.Rdata')/ 1024^3

产生的 copy.Rdata 文件大小均没有膨胀(298.93 M)

推测原因

在 R 内存中数据对象一直是被压缩/引用共享的状态。如数据中有大量重复的数据结构,该数据会被完美压缩。Rstudio 中为了可视化,大部分 R 对象均被展开,非常消耗内存,当 save 该对象时,这个对象不会被真正压缩,所以文件会非常大。

相关推荐
天渺工作室1 小时前
实现一个adblock/adblock plus等浏览器广告拦截器检测插件
前端·javascript
阳光是sunny2 小时前
Vue 项目怎么做用户行为全链路监控?轻量插件方案详解
前端·面试·架构
ZhengEnCi2 小时前
Q04-Vite禁用CSS代码分割-解决生产环境样式加载顺序混乱问题
前端·vue.js·vite
九酒2 小时前
AI Agent 开发踩坑记:口播功能非得用 APP 原生实现吗?
前端·人工智能·agent
Jackson__3 小时前
做了一段时间的AI coding后,我终于搞清了 CLI 和 MCP 的区别
前端·agent·ai编程
IT_陈寒6 小时前
JavaScript项目实战经验分享
前端·人工智能·后端
用户47949283569156 小时前
6w star,GitHub 趋势第一的 Ponytail,这个agent插件到底在火什么
前端·后端
吃饱了得干活7 小时前
Spring Cloud Gateway 微服务网关:路由、断言、过滤器
java·spring cloud
薛定喵的谔8 小时前
我开源了一个精致的 Next.js 博客模板:Skyplume
前端·前端框架·next.js
张龙6878 小时前
构建生产级 AI Agent:工具调用与记忆架构实战指南
前端