Python操作处理 HDF5 文件的详细操作

pip install h5py
# 或者使用 conda
conda install h5py

import h5py
import numpy as np
# 'w' 模式：写模式（如果文件存在则覆盖，不存在则创建）
with h5py.File("data_example.h5", "w") as f:
    # 模拟一些数据
    matrix_data = np.random.randn(100, 100)
    # 方式 A：显式指定数据集名称和数据
    f.create_dataset("matrix", data=matrix_data)
    # 方式 B：显式指定 shape 和 dtype，随后写入数据
    ds = f.create_dataset("empty_matrix", shape=(10, 10), dtype="float32")
    ds[...] = 1.0  # 填充数据

with h5py.File("data_example.h5", "w") as f:
    # 创建一级子组
    group_sensor = f.create_group("sensor_data")
    # 在一级子组下创建二级子组
    group_gps = group_sensor.create_group("gps")
    # 写入数据到特定的组路径下
    gps_coords = np.array([[39.9, 116.4], [31.2, 121.5]])
    group_gps.create_dataset("coordinates", data=gps_coords)
    # 也可以直接通过路径方式隐式创建层级（h5py 会自动生成缺失的组）
    f.create_dataset("sensor_data/temperature/reading", data=np.array([22.5, 23.0, 22.8]))

with h5py.File("data_example.h5", "w") as f:
    # 创建数据集
    ds = f.create_dataset("temperature", data=[22.5, 23.0, 22.8])
    # 写入属性（通过 .attrs 字典）
    ds.attrs["unit"] = "Celsius"
    ds.attrs["sensor_model"] = "DHT22"
    ds.attrs["calibration_factor"] = 1.02
    # 给根目录（File）写属性
    f.attrs["author"] = "Antigravity AI"

import h5py
import numpy as np
with h5py.File('resizable.h5', 'w') as f:
    # 创建可扩展数据集，初始形状为(100,)，最大可扩展到无限
    dset = f.create_dataset('expandable', 
                           shape=(100,), 
                           maxshape=(None,),  # None表示该维度可无限扩展
                           dtype='float64')
    dset[:] = np.arange(100)
    # 扩展数据集
    dset.resize((200,))
    dset[100:] = np.arange(100, 200)
    # 创建二维可扩展数据集
    dset2 = f.create_dataset('expandable_2d',
                            shape=(10, 20),
                            maxshape=(None, 20),  # 只有第一维可扩展
                            dtype='int32')
    dset2[:] = np.arange(200).reshape(10, 20)
    # 追加新的行
    dset2.resize((15, 20))
    dset2[10:] = np.arange(200, 300).reshape(5, 20)

with h5py.File("compressed_example.h5", "w") as f:
    large_data = np.random.randn(1000, 1000)
    # 启用 gzip 压缩，设置压缩级别为 4（范围 1-9，数值越大压缩率越高，但越耗时）
    f.create_dataset(
        "compressed_matrix", 
        data=large_data, 
        compression="gzip", 
        compression_opts=4, 
        chunks=(100, 100) # 指定分块形状
    )

with h5py.File("strings_example.h5", "w") as f:
    # 1. 单个/少量变长 UTF-8 字符串
    utf8_type = h5py.string_dtype(encoding="utf-8")
    # 2. 写入字符串数组
    words = np.array(["你好", "HDF5", "Python 数据科学"], dtype=object)
    ds = f.create_dataset("chinese_words", (3,), dtype=utf8_type)
    ds[:] = words
    # 3. 简写方式（通常可以直接传入字节串 bytes，或者使用 asstr() 进行读写）
    f.create_dataset("ascii_bytes", data=[b"hello", b"world"])

import h5py
def print_structure(name, obj):
    """
    回调函数：
    name: 节点的相对路径 (如 '/sensor_data/temperature')
    obj: HDF5 Group 或 Dataset 对象
    """
    indent = "  " * name.count("/")
    if isinstance(obj, h5py.Dataset):
        print(f"{indent}📄 Dataset: {name} (shape={obj.shape}, dtype={obj.dtype})")
        # 打印属性
        if len(obj.attrs) > 0:
            for k, v in obj.attrs.items():
                print(f"{indent}    🏷️ {k}: {v}")
    elif isinstance(obj, h5py.Group):
        print(f"{indent}📁 Group: {name}")
# 以只读模式 'r' 打开文件
with h5py.File("data_example.h5", "r") as f:
    print("--- 文件树形结构 ---")
    f.visititems(print_structure)

with h5py.File("data_example.h5", "r") as f:
    # 检查键是否存在
    if "matrix" in f:
        # 使用切片 [:] 读取全部数据到内存中，得到一个 NumPy ndarray
        data = f["matrix"][:]
        print("数据类型:", type(data))
        print("数据形状:", data.shape)

with h5py.File("data_example.h5", "r") as f:
    dataset = f["matrix"] # 此时只是获取了数据集的引用，并未真正读取数据
    # 仅读取前 10 行的前 5 列数据到内存
    sub_data = dataset[0:10, 0:5]
    print("局部数据形状:", sub_data.shape)