python使用pandas从minio读取excel文件方式

 更新时间:2024年11月21日 09:45:00   作者:胡八一、  
从MinIO读取Excel文件并使用Pandas处理的步骤:首先使用MinIOPythonSDK下载文件,然后使用Pandas读取,总结:安装依赖需使用Pandas和MinIOPythonSDK

安装依赖

要使用Pandas从MinIO读取Excel文件,你需要先使用MinIO Python SDK从MinIO存储桶中下载文件,然后使用Pandas读取该文件。

安装必要的库:

pip install pandas minio -i https://pypi.tuna.tsinghua.edu.cn/simple

python 3 的方式

import pandas as pd
from minio import Minio
from io import BytesIO

# MinIO 连接配置
# MinIO 连接配置
minio_client = Minio(
    "localhost:9000",       # MinIO服务器地址
    access_key="admin",  # 访问密钥
    secret_key="admin",  # 秘钥
    secure=False                   # 如果是https连接,设为True
)

bucket_name = "test-read"   # 存储桶名称
file_path = "测试/test.xlsx"  # 文件在 MinIO 中的路径

def read_csv_from_minio(minio_client,bucket_name, file_path):
    """
    从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame
    :param bucket_name: 存储桶名称
    :param file_path: MinIO 中的文件路径
    :return: pandas DataFrame
    """
    try:
        # 从 MinIO 下载文件内容
        response = minio_client.get_object(bucket_name, file_path)
        # 使用 BytesIO 包装文件内容,以便 pandas 读取
        # binary_data = response.read()  # 将数据读取为字节
        df = pd.read_excel(BytesIO(response.data), sheet_name=1)
        return df
    except Exception as e:
        print(f"读取文件失败,错误信息: {e}")
        return None

# 调用函数并查看数据框
df = read_csv_from_minio(bucket_name, file_path)
if df is not None:
    print(df.head())

python 2 的方式

import pandas as pd
from minio import Minio
from StringIO import StringIO 

# MinIO 连接配置
# MinIO 连接配置
minio_client = Minio(
    "localhost:9000",       # MinIO服务器地址
    access_key="admin",  # 访问密钥
    secret_key="admin",  # 秘钥
    secure=False                   # 如果是https连接,设为True
)

bucket_name = "test-read"   # 存储桶名称
file_path = "测试/test.xlsx"  # 文件在 MinIO 中的路径

def read_csv_from_minio(minio_client,bucket_name, file_path):
    """
    从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame
    :param bucket_name: 存储桶名称
    :param file_path: MinIO 中的文件路径
    :return: pandas DataFrame
    """
    try:
        # 从 MinIO 下载文件内容
        response = minio_client.get_object(bucket_name, file_path)
        # 使用 BytesIO 包装文件内容,以便 pandas 读取
        # binary_data = response.read()  # 将数据读取为字节
        df = pd.read_excel(StringIO(response.data), sheet_name=1)
        return df
    except Exception as e:
        print(f"读取文件失败,错误信息: {e}")
        return None

# 调用函数并查看数据框
df = read_csv_from_minio(bucket_name, file_path)
if df is not None:
    print(df.head())

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python实战之实现康威生命游戏

    Python实战之实现康威生命游戏

    这篇文章主要介绍了Python实战之实现康威生命游戏,文中有非常详细的代码示例,对正在学习python的小伙伴们有非常好的帮助,需要的朋友可以参考下
    2021-04-04
  • Python开发游戏自动化后台脚本的实现

    Python开发游戏自动化后台脚本的实现

    本文主要介绍了Python开发游戏自动化后台脚本的实现,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-01-01
  • python学习 流程控制语句详解

    python学习 流程控制语句详解

    下面小编就为大家带来一篇python学习 流程控制语句详解。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-06-06
  • 关于Python函数对象的名称空间和作用域

    关于Python函数对象的名称空间和作用域

    这篇文章主要介绍了关于Python函数对象的名称空间和作用域,数据的名称是储存到栈区,而数据的内容是储存到堆区,当我们要去使用数据的内容时,我们可以通过数据的名称来直接去表示数据的内容,需要的朋友可以参考下
    2023-04-04
  • 基于DataFrame筛选数据与loc的用法详解

    基于DataFrame筛选数据与loc的用法详解

    今天小编就为大家分享一篇基于DataFrame筛选数据与loc的用法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • Python爬虫DNS解析缓存方法实例分析

    Python爬虫DNS解析缓存方法实例分析

    这篇文章主要介绍了Python爬虫DNS解析缓存方法,结合具体实例形式分析了Python使用socket模块解析DNS缓存的相关操作技巧与注意事项,需要的朋友可以参考下
    2017-06-06
  • 系统解析Python模拟Windows文件名排序的三种实现方案

    系统解析Python模拟Windows文件名排序的三种实现方案

    在文件管理场景中,Windows资源管理器的排序规则因其符合人类自然认知而备受青睐,本文将系统解析Windows排序规则并提供三种Python实现方案,大家可以根据需要进行选择
    2026-03-03
  • 利用4行Python代码监测每一行程序的运行时间和空间消耗

    利用4行Python代码监测每一行程序的运行时间和空间消耗

    这篇文章主要介绍了如何使用4行Python代码监测每一行程序的运行时间和空间消耗,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-04-04
  • Python装饰器原理与简单用法实例分析

    Python装饰器原理与简单用法实例分析

    这篇文章主要介绍了Python装饰器原理与简单用法,结合实例形式分析了Python装饰器的概念、原理、使用方法及相关注意事项,需要的朋友可以参考下
    2018-04-04
  • django开发教程之利用缓存文件进行页面缓存的方法

    django开发教程之利用缓存文件进行页面缓存的方法

    缓存相信对各位程序员们来说都不陌生,下面这篇文章主要给大家介绍了关于django开发教程之利用缓存文件进行页面缓存的相关资料,文中通过示例代码介绍的非常详细,需要的朋友们可以参考借鉴,下面随着小编来一起学习学习吧。
    2017-11-11

最新评论