pandas string转dataframe的方法
更新时间：2018年04月11日 08:56:21 作者：小煤矿屁
下面小编就为大家分享一篇pandas string转dataframe的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
今天业务上碰到用pandas处理一个大文件的内存不够问题，需要做concat 合并多个文件，每个文件数据在1.4亿行左右。当时第一反应是把dataframe分割成多块小文件处理，后面发现即使pandas内存问题解决了，用pickle做保存数据时也会提升内存不够的报错，后来把dataframe对象转化成string，发现内存占用减少了近一半。
所以打算用先转成string再dump到离线文件里，官网文档上只有to_string的说明，而从string转dataframe却没有提供直接的函数。
其实很简单，我们可以把string放到一个文件对象里，然后通过read_csv函数来创建dataframe对象。
import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
import pandas as pd
TESTDATA=StringIO("""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
""")
df = pd.read_csv(TESTDATA, sep=";")
以上这篇pandas string转dataframe的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python取读csv文件做dbscan分析，读取csv文件中相应的列，然后进行转化，处理为本算法需要的格式，然后进行dbscan运算，下面文章的具体介绍需要的小伙伴可以参考一下2022-04-04
这篇文章主要为大家详细介绍了python的函数和面向对象，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-02-02
端午节快乐，今天我将为大家带来一篇有关端午节的编程文章，希望能够为大家献上一份小小的惊喜，我们将会使用Python来实现一个与端午粽子相关的小应用程序，在本文中，我将会介绍如何用Python代码制做一个“粽子拆解器”，感兴趣的小伙伴欢迎阅读2023-06-06
本文主要介绍了Python读写Excel文件库的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2023-08-08
Flask是一个使用Python编写的轻量级Web应用框架,本文我们将介绍一个使用Flask逐步搭建Web应用程序的简单入门示例,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧2024-01-01
下面小编就为大家带来一篇python获取当前用户的主目录路径方法(推荐)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-01-01
Bokeh是Python中的数据可视化库，提供高性能的交互式图表和绘图。本文将利用Bokeh绘制一些可视化图表，文中的示例代码讲解详细，感兴趣的可以了解一下2022-08-08
这篇文章主要介绍了Django ORM实现按天获取数据去重求和例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
这篇文章主要介绍了python中实现字符串翻转的方法,代码很简单，非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下2018-07-07
shutil是 python 中的高级文件操作模块，与os模块形成互补的关系，os主要提供了文件或文件夹的新建、删除、查看等方法，还提供了对文件以及目录的路径操作，这篇文章主要介绍了python包合集-shutil,需要的朋友可以参考下2022-08-08
最新评论