在mac上面使用parquet-cli查看parquet文件

问题

需要在mac上面简单查看parquet文件,parquet格式是hadoop生态的文件格式。也就是说,这个是大数据这块领域的基础文件格式之一。

安装

bash 复制代码
brew install parquet-cli

使用

bash 复制代码
# 查看元数据
parquet meta run-1758765177209-part-block-0-0-r-00000-snappy.parquet
# 查看前面几条数据
parquet head run-1758765177209-part-block-0-0-r-00000-snappy.parquet
# 查看数据格式
parquet schema run-1758765177209-part-block-0-0-r-00000-snappy.parquet

问题

使用过程中出现了如下问题:

Argument error: INT96 is deprecated. As interim enable READ_INT96_AS_FIXED flag to read as byte array.

然后parquet-cli这个工具就死活打不开含有INT96类型字段的parquet文件。然后,在mac上面使用一个叫Parquet Viewer的工具,连接如下:
Parquet Viewer

参考

相关推荐
茶海棠18 小时前
Hadoop+zookeeper+HBase+Kafka集群搭建全流程
hadoop·zookeeper·kafka·hbase
小杨互联网20 小时前
开源表格数据与文本处理 CLI 离线镜像合集
开源·数据处理·cli·离线镜像
周小董2 天前
[1379]mac安装nvm
macos
bossjuemfc2 天前
不记得文件名时,Mac 上的搜索还能怎么做?
macos
Gl�ria2 天前
Hadoop 速刷:HDFS / MR / YARN / Spark / Hive
hadoop·hdfs·mr
2501_915909062 天前
Windows 打开 Xcode 工程,编译调试 Xcode 项目并和 Mac 同事协作
ide·windows·vscode·macos·ios·个人开发·xcode
FserSuN2 天前
Hive 分区表存储与查询优化学习总结
hive·hadoop·学习
请为小H留灯2 天前
Mac 常用操作与维护技巧
macos·电脑·清理电脑·常用技巧
hantmac3 天前
不记得文件名时,Mac 上的搜索还能怎么做?
人工智能·macos
这是谁的博客?3 天前
AI 加速器 RTL 数字系统设计深度解析:从 MAC 阵列 Verilog 实现到时序收敛与时钟功耗的芯片落地全链路
人工智能·macos·ai·verilog·数字ic设计·ai芯片·rtl