技术栈
parquet
喜欢吃豆
7 天前
人工智能
·
语言模型
·
自然语言处理
·
大模型
·
parquet
Parquet 范式：大语言模型训练数据格式优化的基础解析
将数据格式转换为 Apache Parquet 并非一种随意的偏好，而是针对大规模数据处理（尤其是大语言模型 (LLM) 训练）的一项基础性能优化。Parquet 格式通过其列式存储架构，在 I/O 效率、存储成本和查询性能方面提供了数量级的提升。
亚林瓜子
2 个月前
hadoop
·
macos
·
cli
·
parquet
在mac上面使用parquet-cli查看parquet文件
需要在mac上面简单查看parquet文件，parquet格式是hadoop生态的文件格式。也就是说，这个是大数据这块领域的基础文件格式之一。
柯大侠爱喝水
1 年前
python
·
pandas
·
csv
·
hdf5
·
parquet
python pandas ，处理csv文件、hdf5文件、parquet文件效率详细对比
废话不多说，先放结论：1. python 处理csv 和hdf5对比我本地存了100个小的csv文件（内容是股票交易数据），总30M
archimekai
2 年前
数据结构
·
数据库
·
google
·
parquet
Google Dremel和parquet的复杂嵌套数据结构表征方法解析
转载请注明出处。作者：archimekai 核心参考文献： Dremel: Interactive Analysis of Web-Scale Datasets
Dreammmming Time
2 年前
spark
·
iceberg
·
vectorized
·
parquet
Iceberg: 列式读取Parquet数据
BaseBatchReader支持以Batch + Vectorized的特性，读取底层的文件。通过VectorizedSparkParquetReaders::build Reader()静态方法创建的读取器，关键特性如下：
我是有底线的