python使用pandas从minio读取excel文件方式

 更新时间:2024年11月21日 09:45:00   作者:胡八一、  
从MinIO读取Excel文件并使用Pandas处理的步骤:首先使用MinIOPythonSDK下载文件,然后使用Pandas读取,总结:安装依赖需使用Pandas和MinIOPythonSDK

安装依赖

要使用Pandas从MinIO读取Excel文件,你需要先使用MinIO Python SDK从MinIO存储桶中下载文件,然后使用Pandas读取该文件。

安装必要的库:

pip install pandas minio -i https://pypi.tuna.tsinghua.edu.cn/simple

python 3 的方式

import pandas as pd
from minio import Minio
from io import BytesIO

# MinIO 连接配置
# MinIO 连接配置
minio_client = Minio(
    "localhost:9000",       # MinIO服务器地址
    access_key="admin",  # 访问密钥
    secret_key="admin",  # 秘钥
    secure=False                   # 如果是https连接,设为True
)

bucket_name = "test-read"   # 存储桶名称
file_path = "测试/test.xlsx"  # 文件在 MinIO 中的路径

def read_csv_from_minio(minio_client,bucket_name, file_path):
    """
    从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame
    :param bucket_name: 存储桶名称
    :param file_path: MinIO 中的文件路径
    :return: pandas DataFrame
    """
    try:
        # 从 MinIO 下载文件内容
        response = minio_client.get_object(bucket_name, file_path)
        # 使用 BytesIO 包装文件内容,以便 pandas 读取
        # binary_data = response.read()  # 将数据读取为字节
        df = pd.read_excel(BytesIO(response.data), sheet_name=1)
        return df
    except Exception as e:
        print(f"读取文件失败,错误信息: {e}")
        return None

# 调用函数并查看数据框
df = read_csv_from_minio(bucket_name, file_path)
if df is not None:
    print(df.head())

python 2 的方式

import pandas as pd
from minio import Minio
from StringIO import StringIO 

# MinIO 连接配置
# MinIO 连接配置
minio_client = Minio(
    "localhost:9000",       # MinIO服务器地址
    access_key="admin",  # 访问密钥
    secret_key="admin",  # 秘钥
    secure=False                   # 如果是https连接,设为True
)

bucket_name = "test-read"   # 存储桶名称
file_path = "测试/test.xlsx"  # 文件在 MinIO 中的路径

def read_csv_from_minio(minio_client,bucket_name, file_path):
    """
    从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame
    :param bucket_name: 存储桶名称
    :param file_path: MinIO 中的文件路径
    :return: pandas DataFrame
    """
    try:
        # 从 MinIO 下载文件内容
        response = minio_client.get_object(bucket_name, file_path)
        # 使用 BytesIO 包装文件内容,以便 pandas 读取
        # binary_data = response.read()  # 将数据读取为字节
        df = pd.read_excel(StringIO(response.data), sheet_name=1)
        return df
    except Exception as e:
        print(f"读取文件失败,错误信息: {e}")
        return None

# 调用函数并查看数据框
df = read_csv_from_minio(bucket_name, file_path)
if df is not None:
    print(df.head())

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • python合并两个字典的方法总结

    python合并两个字典的方法总结

    在Python中,有多种方法可以通过使用各种函数和构造函数来合并字典,在本文中,我们将讨论一些合并字典的方法,有需要的小伙伴可以参考一下·
    2023-09-09
  • django中嵌套的try-except实例

    django中嵌套的try-except实例

    这篇文章主要介绍了django中嵌套的try-except实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-05-05
  • python3.0 字典key排序

    python3.0 字典key排序

    字典对象其实就是键-值对 下面是字典对象的添加,修改,删除 (修改与添加方法相同,当key值不存在的时候添加)
    2008-12-12
  • Python绘制数码晶体管日期

    Python绘制数码晶体管日期

    这篇文章主要为大家详细介绍了Python绘制数码晶体管日期,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-02-02
  • python生成器,可迭代对象,迭代器区别和联系

    python生成器,可迭代对象,迭代器区别和联系

    这篇文章主要介绍了python生成器,可迭代对象,迭代器区别和联系,通过对比用法让大家更加深入理解相关知识,需要的朋友参考学习下吧。
    2018-02-02
  • python编写五子棋游戏

    python编写五子棋游戏

    这篇文章主要为大家详细介绍了python编写五子棋游戏,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-05-05
  • Python-split()函数实例用法讲解

    Python-split()函数实例用法讲解

    在本篇文章里小编给大家整理的是一篇关于Python-split()函数实例用法讲解,有兴趣的朋友们可以学习下。
    2020-12-12
  • 如何让PyQt5中QWebEngineView与JavaScript交互

    如何让PyQt5中QWebEngineView与JavaScript交互

    这篇文章主要介绍了如何让PyQt5中QWebEngineView与JavaScript交互,帮助大家更好的理解和学习PyQt5框架,感兴趣的朋友可以了解下
    2020-10-10
  • 使用python把json文件转换为csv文件

    使用python把json文件转换为csv文件

    这篇文章主要介绍了使用python把json文件转换为csv文件,帮助大家更好的利用python处理数据,感兴趣的朋友可以了解下
    2021-03-03
  • 如何利用python将Xmind用例转为Excel用例

    如何利用python将Xmind用例转为Excel用例

    这篇文章主要介绍了如何利用python将Xmind用例转为Excel用例,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-06-06

最新评论