在mac上面使用parquet-cli查看parquet文件

问题

需要在mac上面简单查看parquet文件,parquet格式是hadoop生态的文件格式。也就是说,这个是大数据这块领域的基础文件格式之一。

安装

bash 复制代码
brew install parquet-cli

使用

bash 复制代码
# 查看元数据
parquet meta run-1758765177209-part-block-0-0-r-00000-snappy.parquet
# 查看前面几条数据
parquet head run-1758765177209-part-block-0-0-r-00000-snappy.parquet
# 查看数据格式
parquet schema run-1758765177209-part-block-0-0-r-00000-snappy.parquet

问题

使用过程中出现了如下问题:

Argument error: INT96 is deprecated. As interim enable READ_INT96_AS_FIXED flag to read as byte array.

然后parquet-cli这个工具就死活打不开含有INT96类型字段的parquet文件。然后,在mac上面使用一个叫Parquet Viewer的工具,连接如下:
Parquet Viewer

参考

相关推荐
00后程序员张14 小时前
Windows 下怎么生成 AppStoreInfo.plist?不依赖 Xcode 的方法
ide·macos·ios·小程序·uni-app·iphone·xcode
boldiy16 小时前
如何在MAC电脑中实现自动切换windows快捷键
windows·macos
It's Q16 小时前
Hive序列函数&&排名函数
数据仓库·hive·hadoop
张3蜂16 小时前
Flutter macOS 安装文档
flutter·macos
Nan-h117 小时前
Mac 剪贴板工具选型:先看工作流,再看 Maccy、Raycast、Paste 和 uPaste
macos·贴图
Rabbit_QL17 小时前
【find的用法】macOS/Linux 下高效查找文件
linux·macos
WL_Aurora2 天前
Hadoop HA高可用架构深度解析
大数据·hadoop·架构
Irene19912 天前
Windows 11 WSL Ubuntu 环境:实际安装 Hadoop 踩坑实录
linux·hadoop·ubuntu
weixin_492722822 天前
Baklib 隆重推出 CLI命令行工具
cli·baklib
Irene19912 天前
(课堂笔记)Hive 分区、分桶与数据倾斜
hive·hadoop