parquet

柯大侠爱喝水6 个月前
python·pandas·csv·hdf5·parquet
python pandas ，处理csv文件、hdf5文件、parquet文件效率详细对比废话不多说，先放结论：1. python 处理csv 和hdf5对比我本地存了100个小的csv文件（内容是股票交易数据），总30M
archimekai1 年前
数据结构·数据库·google·parquet
Google Dremel和parquet的复杂嵌套数据结构表征方法解析转载请注明出处。作者：archimekai 核心参考文献： Dremel: Interactive Analysis of Web-Scale Datasets
Dreammmming Time1 年前
spark·iceberg·vectorized·parquet
Iceberg: 列式读取Parquet数据BaseBatchReader支持以Batch + Vectorized的特性，读取底层的文件。通过VectorizedSparkParquetReaders::build Reader()静态方法创建的读取器，关键特性如下：