技术栈
parquet
柯大侠爱喝水
6 天前
python
·
pandas
·
csv
·
hdf5
·
parquet
python pandas ,处理csv文件、hdf5文件、parquet文件效率详细对比
废话不多说,先放结论:1. python 处理csv 和hdf5对比我本地存了100个小的csv文件(内容是股票交易数据),总30M
archimekai
9 个月前
数据结构
·
数据库
·
google
·
parquet
Google Dremel和parquet的复杂嵌套数据结构表征方法解析
转载请注明出处。作者:archimekai 核心参考文献: Dremel: Interactive Analysis of Web-Scale Datasets
Dreammmming Time
10 个月前
spark
·
iceberg
·
vectorized
·
parquet
Iceberg: 列式读取Parquet数据
BaseBatchReader支持以Batch + Vectorized的特性,读取底层的文件。通过VectorizedSparkParquetReaders::build Reader()静态方法创建的读取器,关键特性如下: