pandas string转dataframe的方法
更新时间：2018年04月11日 08:56:21 作者：小煤矿屁
下面小编就为大家分享一篇pandas string转dataframe的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
今天业务上碰到用pandas处理一个大文件的内存不够问题，需要做concat 合并多个文件，每个文件数据在1.4亿行左右。当时第一反应是把dataframe分割成多块小文件处理，后面发现即使pandas内存问题解决了，用pickle做保存数据时也会提升内存不够的报错，后来把dataframe对象转化成string，发现内存占用减少了近一半。
所以打算用先转成string再dump到离线文件里，官网文档上只有to_string的说明，而从string转dataframe却没有提供直接的函数。
其实很简单，我们可以把string放到一个文件对象里，然后通过read_csv函数来创建dataframe对象。
import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
import pandas as pd
TESTDATA=StringIO("""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
""")
df = pd.read_csv(TESTDATA, sep=";")
以上这篇pandas string转dataframe的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
下面小编就为大家分享一篇Python输入二维数组方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
python使用dataframe_image将dataframe表格转为图片
本文主要介绍了python使用dataframe_image将dataframe表格转为图片,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2024-01-01
这篇文章主要介绍了Python基于time模块求程序运行时间的方法,涉及Python time模块的使用及数值运算相关操作技巧,需要的朋友可以参考下2017-09-09
这篇文章主要介绍了python飞机大战pygame游戏背景设计,结合实例形式详细分析了Python使用pygame模块设计游戏背景相关原理、流程与实现技巧,需要的朋友可以参考下2019-12-12
代码中经常会有变量是否为None的判断,这篇文章给大家总结了三种判断变量是否是none的写法,文中通过代码示例介绍的非常详细,需要的朋友可以参考下2023-12-12
这篇文章主要为大家分享了一个Python实战小案例——生成有关联单选问卷，并且能根据问卷总分数生成对应判断文案结果，感兴趣的可以了解一下2023-04-04
Python使用Nocalhost并开启debug调试的方法
Nocalhost是一种开发者工具，支持针对Kubernetes应用程序进行调试和部署，这篇文章主要介绍了Python怎么使用Nocalhost并开启debug,需要的朋友可以参考下2023-04-04
这篇文章主要介绍了Python手动或自动协程操作方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
jupyter notebook中新建cell的方法与快捷键操作
这篇文章主要介绍了jupyter notebook中新建cell的方法与快捷键操作，具有很好的参考价值，希望对有所帮助。一起跟随小编过来看看吧2020-04-04
这篇文章主要介绍了Python 列表 sort()函数使用详解，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2023-07-07
最新评论