python使用TensorFlow读取和批处理CSV文件

一、实验目的

本次实验旨在使用 TensorFlow 库读取 CSV 文件，并将其数据以批次的形式进行处理和展示。通过该实验，我们希望掌握 TensorFlow 中 tf.data.TextLineDataset 的使用方法，以及如何解析 CSV 数据并进行批量处理。

二、实验环境

• 编程语言：Python
• 主要库：TensorFlow、os
• 操作系统：Windows
• 实验数据：位于 C:\Users\30597\Desktop\sye\people.csv 的 CSV 文件，包含 Name、Age 和 Occupation 三列数据。

三、实验步骤

1. 导入必要的库

import tensorflow as tf
import os

导入 tensorflow 库用于数据处理，os 库用于文件路径验证。

2. 定义 CSV 读取函数

def csv_reader(file_path, batch_size=2):
    # 1. 创建Dataset并跳过表头
    dataset = tf.data.TextLineDataset(file_path).skip(1)
 
    # 2. 定义CSV解析函数
    def parse_line(line):
        record_defaults = [
            tf.constant(["Unknown"], tf.string),  # Name列
            tf.constant([0], tf.int32),  # Age列
            tf.constant(["Unknown"], tf.string)  # Occupation列
        ]
        fields = tf.io.decode_csv(line, record_defaults)
        return fields
 
    # 3. 应用解析和批处理
    dataset = dataset.map(parse_line)
    dataset = dataset.batch(batch_size, drop_remainder=False)
    return dataset

• 创建 Dataset 并跳过表头：使用 tf.data.TextLineDataset 读取 CSV 文件的每一行，并通过 skip(1) 跳过表头。
• 定义 CSV 解析函数：parse_line 函数使用 tf.io.decode_csv 解析每一行数据，同时指定每列的默认值。
• 应用解析和批处理：使用 map 方法将解析函数应用到每个数据行，再使用 batch 方法将数据分成指定大小的批次。

3. 主程序逻辑

if __name__ == "__main__":
    # 指定具体文件路径
    csv_path = r"C:\Users\30597\Desktop\sye\people.csv"
 
    # 验证文件存在性
    if not os.path.exists(csv_path):
        raise FileNotFoundError(f"CSV文件未找到：{csv_path}")
 
    # 创建数据集
    dataset = csv_reader(csv_path, batch_size=2)
 
    # 迭代数据批次
    for batch_num, (names, ages, occupations) in enumerate(dataset):
        print(f"\n批次 {batch_num + 1}:")
 
        # 将字节字符串解码为普通字符串
        names_str = [name.decode('utf-8') for name in names.numpy()]
        occupations_str = [occ.decode('utf-8') for occ in occupations.numpy()]
 
        print("姓名：", names_str)
        print("年龄：", ages.numpy().tolist())
        print("职业：", occupations_str)

• 指定文件路径并验证存在性：使用 os.path.exists 函数检查 CSV 文件是否存在，若不存在则抛出 FileNotFoundError 异常。
• 创建数据集：调用 csv_reader 函数创建数据集。
• 迭代数据批次：遍历数据集的每个批次，将字节字符串解码为普通字符串，并打印每个批次的姓名、年龄和职业信息。

四、实验结果

实验成功读取了指定的 CSV 文件，并将数据按批次处理和展示。每个批次包含两条记录，分别显示了姓名、年龄和职业信息。若 CSV 文件中存在缺失值，将使用默认值进行填充。

五、实验总结与反思

优点

• 使用 TensorFlow 的 tf.data 模块：该模块提供了高效的数据处理和迭代功能，能够方便地处理大规模数据集。
• 数据解析和批处理：通过定义解析函数和使用 map、batch 方法，实现了数据的自动解析和批量处理，提高了代码的可读性和可维护性。
• 文件路径验证：在读取文件前进行路径验证，避免了因文件不存在而导致的运行时错误。

不足与改进方向

• 错误处理：当前代码仅处理了文件不存在的情况，对于 CSV 文件格式错误、数据类型不匹配等异常情况未进行处理。可以添加更多的异常处理逻辑，提高代码的健壮性。
• 代码可扩展性：代码中硬编码了 CSV 文件的列数和默认值，若 CSV 文件的结构发生变化，需要手动修改代码。可以考虑将列信息和默认值作为参数传递给 csv_reader 函数，提高代码的可扩展性。
• 性能优化：对于大规模数据集，当前的批处理方式可能会导致内存占用过高。可以考虑使用 prefetch 方法进行数据预取，提高数据处理的性能。

总体而言，本实验通过使用 TensorFlow 成功实现了 CSV 文件的读取和批处理，为后续的数据处理和分析奠定了基础。

以上就是python使用TensorFlow读取和批处理CSV文件的详细内容，更多关于python TensorFlow读取CSV的资料请关注脚本之家其它相关文章！

最新评论