读HDF5格式的文件

这里写自定义目录标题

HDF格式简介

HDF(Hierarchical Data Format)指一种为存储和处理大容量科学数据设计的文件格式及相应库文件。其中Hierarchical层级结构的意思,也就是说,HDF的文件结构是分层的,像文件夹一样,上层文件夹套下层文件夹。

python读取HDF文件

现在比较常用的HDF文件的格式是HDF5,可以使用python的h5py库来读取。

下面提供的这个函数,可以输入文件名,读取HDF5文件,输出numpy的DataFrame格式的数据。

python 复制代码
import h5py
import numpy as np
import pandas as pd
def read_hdf(ff):
    f = h5py.File(ff,'r')
    print('f',type(f))
    df = pd.DataFrame()
    for group in f.keys():
        print(group)
        #根据一级组名获得其下面的组
        group_read = f[group]
#         print('group_read',type(group_read),isinstance(group_read,h5py._hl.group.Group))
        if isinstance(group_read,h5py._hl.group.Group):
            #遍历该一级组下面的子组
            for subgroup in group_read.keys():
    #             print(subgroup)     
                #根据一级组和二级组名获取其下面的dataset          
                dset_read = f[group+'/'+subgroup]                           
                #遍历该子组下所有的dataset
                for dset in dset_read.keys():
                    #获取dataset数据
                    dset1 = f[group+'/'+subgroup+'/'+dset]
#                     print('dset1',type(dset1))
    #                 print(dset1.name)
                    data = np.array(dset1)
        #             print(data,type(data),data.shape)
                    #添加到DataFrame中
                    df = pd.concat([df,pd.DataFrame({dset1.name:list(data)})],axis=1)
        elif isinstance(group_read,h5py._hl.dataset.Dataset):
            data = np.array(group_read)
            df = pd.concat([df,pd.DataFrame({group:list(data)})],axis=1)
#     print(df)
    return df
相关推荐
可触的未来,发芽的智生1 小时前
触摸未来2025.10.10:记忆的种子,当神经网络拥有了临时工作区,小名喜忆记系统
人工智能·python·神经网络·机器学习·架构
mortimer2 小时前
在 Windows 上部署 NVIDIA Parakeet-TDT 遇到的坑
python·github·nvidia
Rock_yzh2 小时前
AI学习日记——卷积神经网络(CNN):完整实现与可视化分析
人工智能·python·深度学习·神经网络·学习·cnn
生信小白菜儿2 小时前
深度学习(DL)概念及实例操作
人工智能·python·深度学习
测试老哥2 小时前
如何编写好测试用例?
自动化测试·软件测试·python·功能测试·测试工具·职场和发展·测试用例
郝学胜-神的一滴3 小时前
Effective Python 第44条:用纯属性与修饰器取代旧式的 setter 与 getter 方法
开发语言·python·程序人生·软件工程
嫂子的姐夫4 小时前
11-py调用js
javascript·爬虫·python·网络爬虫·爬山算法
图亚Vanta5 小时前
Python入门第一课:Python安装、VSCode/Pycharm配置
vscode·python·pycharm
睿思达DBA_WGX5 小时前
使用 python-docx 库操作 word 文档(2):在word文档中插入各种内容
python·word
kunge1v56 小时前
学习爬虫第五天:自动化爬虫
爬虫·python·自动化