在mac上面使用parquet-cli查看parquet文件

问题

需要在mac上面简单查看parquet文件,parquet格式是hadoop生态的文件格式。也就是说,这个是大数据这块领域的基础文件格式之一。

安装

bash 复制代码
brew install parquet-cli

使用

bash 复制代码
# 查看元数据
parquet meta run-1758765177209-part-block-0-0-r-00000-snappy.parquet
# 查看前面几条数据
parquet head run-1758765177209-part-block-0-0-r-00000-snappy.parquet
# 查看数据格式
parquet schema run-1758765177209-part-block-0-0-r-00000-snappy.parquet

问题

使用过程中出现了如下问题:

Argument error: INT96 is deprecated. As interim enable READ_INT96_AS_FIXED flag to read as byte array.

然后parquet-cli这个工具就死活打不开含有INT96类型字段的parquet文件。然后,在mac上面使用一个叫Parquet Viewer的工具,连接如下:
Parquet Viewer

参考

相关推荐
猿小猴子7 小时前
在 MacOS Tahoe 上使用VMware虚拟机安装 ARM版 Windows11
macos·vmware·win11 for arm
feiyangqingyun8 小时前
Qt项目作品在苹果macos上编译运行效果/视频监控系统/物联网平台等
开发语言·qt·macos
彩旗工作室8 小时前
将iOS/macOS应用上架至App Store
macos·ios·应用商店·appstore
随心............8 小时前
在开发过程中遇到问题如何解决,以及两个经典问题
hive·hadoop·spark
新***袭10 小时前
如何在 Mac 上恢复已删除的文件(包括清空了垃圾箱方法)
macos
江东小bug王11 小时前
深入解析 iOS 与 macOS 应用程序生命周期(完整指南)
macos·ios
xingxing_F11 小时前
DSync for Mac 文件对比同步工具
macos
2501_9160088914 小时前
iOS 发布全流程详解,从开发到上架的流程与跨平台使用 开心上架 发布实战
android·macos·ios·小程序·uni-app·cocoa·iphone
yumgpkpm18 小时前
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境 查询2100w行 hive 查询策略
数据库·数据仓库·hive·hadoop·flink·mapreduce·big data