pandas读取excel,txt,csv,pkl文件等命令的操作

 更新时间:2021年03月27日 09:27:05   作者:zanlinux  
这篇文章主要介绍了pandas读取excel,txt,csv,pkl文件等命令的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

pandas读取txt文件

读取txt文件需要确定txt文件是否符合基本的格式,也就是是否存在\t,,,等特殊的分隔符

一般txt文件长成这个样子

txt文件举例

下面的文件为空格间隔

1 2019-03-22 00:06:24.4463094 中文测试 
2 2019-03-22 00:06:32.4565680 需要编辑encoding 
3 2019-03-22 00:06:32.6835965 ashshsh 
4 2017-03-22 00:06:32.8041945 eggg

读取命令采用 read_csv或者 read_table都可以

import pandas as pd
df = pd.read_table("./test.txt")
print(df)
 
import pandas as pd
df = pd.read_csv("./test.txt")
print(df)

但是,注意,这个地方读取出来的数据内容为3行1列的DataFrame类型,并没有按照我们的要求得到3行4列

import pandas as pd
df = pd.read_csv("./test.txt")
print(type(df))
print(df.shape)
 
<class 'pandas.core.frame.DataFrame'>
(3, 1)

read_csv函数

默认: 从文件、URL、文件新对象中加载带有分隔符的数据,默认分隔符是逗号。

上述txt文档并没有逗号分隔,所以在读取的时候需要增加sep分隔符参数

df = pd.read_csv("./test.txt",sep=' ')

read_pickle函数

read_pickle is only guaranteed to be backwards compatible to pandas 0.20.3.

Examples

>>> original_df = pd.DataFrame({"foo": range(5), "bar": range(5, 10)})
>>> original_df
 foo bar
0 0 5
1 1 6
2 2 7
3 3 8
4 4 9
>>> pd.to_pickle(original_df, "./dummy.pkl")
>>> unpickled_df = pd.read_pickle("./dummy.pkl")
>>> unpickled_df
 foo bar
0 0 5
1 1 6
2 2 7
3 3 8
4 4 9
>>> import os
>>> os.remove("./dummy.pkl")

补充:线上部署模型 读取pkl文件跟excel

先把生成的excel文件(pkl文件)准备好, 放到本地测试的路径下

import platform
import pandas as pd
if platform.system() == 'Windows':
 home_dir = r'F:\python_项目\主后台\r360_taobao\moxin' #本地地址
else:
 home_dir = r'/home/TG_MASTER_ADMIN_API/r360_taobao/moxin' #线上的路径找到文件前一个文件夹
def testMx():
 box = pd.read_excel(home_dir+'/规则新版设计1.xlsx', sheet_name='宜信标准评分卡')
 print("excel\t\t",box)
 box = pd.read_pickle(home_dir + '/foo.pkl')
 print("pkl\t\t",box)
if __name__ == '__main__':
 testMx()

本地测试

给线上传代码

找到主文件路径下面运行测试文件 python3 xxx.py

不好使的话去项目文件 框架下面 写一个测试文件 把那个方法写进来 python3 XXX.py就OK了

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。

相关文章

  • python实现提取百度搜索结果的方法

    python实现提取百度搜索结果的方法

    这篇文章主要介绍了python实现提取百度搜索结果的方法,涉及Python网页及字符串操作的相关技巧,需要的朋友可以参考下
    2015-05-05
  • python如何将自己的包上传到PyPi并可通过pip安装的方法步骤

    python如何将自己的包上传到PyPi并可通过pip安装的方法步骤

    本文主要介绍了python如何将自己的包上传到PyPi并可通过pip安装的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-05-05
  • 使用python实现个性化词云的方法

    使用python实现个性化词云的方法

    最近看到可视化的词云,看到网上也很多这样的工具,但是都不怎么完美,有些不支持中文,有的中文词频统计得莫名其妙、有的不支持自定义形状、所有的都不能自定义颜色,于是网上找了一下,决定用python绘制词云
    2017-06-06
  • 使用python播放音频的示例代码

    使用python播放音频的示例代码

    在Python中,我们可以使用多种库来播放音频文件,其中最常用的是pygame库和playsound库,本文给大家分享使用这些库的示例,对python播放音频示例代码感兴趣的朋友一起看看吧
    2024-02-02
  • Django url 路由匹配过程详解

    Django url 路由匹配过程详解

    这篇文章主要介绍了Django url 路由匹配过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01
  • python使用matplotlib绘制等高线图的两种方法

    python使用matplotlib绘制等高线图的两种方法

    在matplotlib.pyplot 中除了可以绘制常规图表如折线、柱状、散点等,还可以绘制常用在地理上的平面展示地型的等高线图,在本中,我们将详细学习matplotlib 绘制等高线图相关属性的学习,需要的朋友可以参考下
    2023-11-11
  • pymssql数据库操作MSSQL2005实例分析

    pymssql数据库操作MSSQL2005实例分析

    这篇文章主要介绍了pymssql数据库操作MSSQL2005的方法,可实现基本的连接、查询、插入、更新及调用存储过程等功能,非常具有实用价值,需要的朋友可以参考下
    2015-05-05
  • python实现异常信息堆栈输出到日志文件

    python实现异常信息堆栈输出到日志文件

    今天小编就为大家分享一篇python实现异常信息堆栈输出到日志文件,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • Python网页解析器使用实例详解

    Python网页解析器使用实例详解

    这篇文章主要介绍了Python网页解析器使用实例详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-05-05
  • 用python 绘制茎叶图和复合饼图

    用python 绘制茎叶图和复合饼图

    这篇文章主要介绍了用python 绘制茎叶图和复合饼图,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下
    2021-02-02

最新评论