Python numpy文件操作技巧分享

import numpy as np

arr = np.arange(1000000).reshape(1000, 1000)

# 保存
np.save('data.npy', arr)
# 文件大小 ≈ arr.nbytes + 128 字节（头信息）

# 加载
loaded = np.load('data.npy')
print(loaded.shape)          # (1000, 1000)
print(loaded.dtype)          # int32（保留原始类型）

# 也可以用 savez 的 save 格式存储
# 注意: np.load 返回的是 ndarray（对 .npy）或 NpzFile（对 .npz）

train_data = np.random.rand(10000, 28, 28)
train_labels = np.random.randint(0, 10, 10000)
test_data = np.random.rand(2000, 28, 28)
test_labels = np.random.randint(0, 10, 2000)

# 保存多个数组（键值对）
np.savez('dataset.npz',
         X_train=train_data, y_train=train_labels,
         X_test=test_data, y_test=test_labels)

# 加载
data = np.load('dataset.npz')
# data 是 NpzFile 对象（类似字典，懒加载）
print(data.files)                # ['X_train', 'y_train', 'X_test', 'y_test']
print(data['X_train'].shape)     # (10000, 28, 28)
print(data['y_train'].shape)     # (10000,)

# savez_compressed: 压缩存储（zip 压缩）
np.savez_compressed('dataset_compressed.npz',
                    X_train=train_data, y_train=train_labels,
                    X_test=test_data, y_test=test_labels)

# 加载方式相同
data = np.load('dataset_compressed.npz')

# 数据文件 data.txt:
# 1.0 2.0 3.0
# 4.0 5.0 6.0
# 7.0 8.0 9.0

data = np.loadtxt('data.txt')
print(data)
# [[1. 2. 3.]
#  [4. 5. 6.]
#  [7. 8. 9.]]

# 常用参数
data = np.loadtxt('data.csv',
                  delimiter=',',         # 分隔符
                  skiprows=1,            # 跳过表头
                  dtype=np.float32,      # 指定类型
                  usecols=(0, 2),        # 只读第 0、2 列
                  max_rows=100)          # 最多读取行数

arr = np.random.rand(100, 5)

np.savetxt('output.csv', arr,
           delimiter=',',
           fmt='%.4f',                   # 格式: 4 位小数
           header='col1,col2,col3,col4,col5',
           comments='')                  # 表头前不加 #

# 数据含缺失值（用 ? 或空白表示）
data = np.genfromtxt('messy.csv',
                     delimiter=',',
                     dtype=None,              # 自动推断类型
                     names=True,              # 第 1 行作为列名
                     missing_values='?',      # 缺失值标记
                     filling_values=0,        # 缺失值填充为 0
                     encoding='utf-8')

# 访问结构化数组的列
print(data['column_name'])

# 常用参数
data = np.genfromtxt('data.csv',
                     delimiter=',',
                     skip_header=1,           # 跳过的表头行数
                     skip_footer=1,           # 跳过的尾部行数
                     usecols=(0, 1, 3),       # 读取的列索引
                     dtype=[('name', 'U10'), ('age', 'i4'), ('score', 'f8')])

# 1. 创建内存映射文件
fp = np.memmap('large.dat', dtype='float32', mode='w+', shape=(100000, 1000))
# 此时只分配了虚拟地址空间，不占物理内存

# 像普通数组一样操作
fp[0, :] = np.random.rand(1000).astype('float32')
fp[1, :] = np.random.rand(1000).astype('float32')

# 写入磁盘
fp.flush()   # 强制刷到磁盘
del fp       # 释放映射

# 2. 加载已有的内存映射
fp = np.memmap('large.dat', dtype='float32', mode='r', shape=(100000, 1000))
# 只加载访问到的部分，不会把整个文件读入内存
print(fp[0:10, :5])   # 硬盘只读这 10×5 的数据

# 3. 就地修改
fp = np.memmap('large.dat', dtype='float32', mode='r+')
fp[0, 0] = 3.14       # 直接写入磁盘文件
fp.flush()

# 10GB 的数据集
# ❌ 普通加载：需要 10GB 内存
# arr = np.load('huge.npy')

# ✅ memmap：内存占用极小
arr = np.load('huge.npy', mmap_mode='r')   # 以 memmap 方式打开
print(arr[10000:10050])  # 只加载这几行

# 从字符串读取
import io

text = "1,2,3\n4,5,6\n7,8,9"
data = np.genfromtxt(io.StringIO(text), delimiter=',')
print(data)

# 从字节读取
binary_data = b"1.0 2.0\n3.0 4.0"
data = np.loadtxt(io.BytesIO(binary_data))

# npz 文件只在访问时才加载对应的数组（省内存）
data = np.load('dataset.npz')

# 此时只有元数据加载，实际数据还在磁盘
print(data.files)      # 列出键名

# 访问时才加载
X_train = data['X_train']   # 现在才从磁盘读取

# 用完后关闭（释放文件句柄）
# data.close()

# pip install h5py
import h5py

# 保存
with h5py.File('dataset.h5', 'w') as f:
    f.create_dataset('images', data=images_array, compression='gzip')
    f.create_dataset('labels', data=labels_array, compression='gzip')

# 加载（支持切片，不会全读入内存）
with h5py.File('dataset.h5', 'r') as f:
    images = f['images']
    print(images.shape)
    batch = images[0:32]  # 只加载 32 张图