python批量读取txt文件为DataFrame的方法

更新时间：2018年04月03日 10:38:04 作者：MUSK1881

下面小编就为大家分享一篇python批量读取txt文件为DataFrame的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

我们有时候会批量处理同一个文件夹下的文件，并且希望读取到一个文件里面便于我们计算操作。比方我有下图一系列的txt文件，我该如何把它们写入一个txt文件中并且读取为DataFrame格式呢？

首先我们要用到glob模块，这个python内置的模块可以说是非常的好用。

glob.glob('*.txt')

得到如下结果：

all.txt是我最后得到的结果文件。可以见返回的是一个包含txt文件名称的列表，当然如果你的文件夹下面只有txt文件，那么你用os.listdir()可以得到一个一样的列表

然后读取的时候只要注意txt文件的编码格式（可以用notepad++打开记事本查看）和间隔符的形式就好了，完整的代码如下：

import os
import pandas
import codecs
import glob
import pandas as pd
os.getcwd()
os.chdir('D:\AAAASXQ\python study\data preprocessing')
def txtcombine()：
 
 files = glob.glob('*.txt')
 
 all = codecs.open('all.txt','a')
 
 for filename in flist: 
 print(filename) 
 fopen=codecs.open(filename,'r',encoding='utf-8') 
 lines=[] 
 lines=fopen.readlines() 
 fopen.close() 
 i=0 
 for line in lines: 
  for x in line: 
  all.write(x)
 #读取为DataFrame格式
 all1 = pd.read_csv('all.txt',sep=' ',encoding='GB2312')
 #保存为csv格式
 all1.to_csv('all.csv',encoding='GB2312')
 
if __name__ == '__main__': 
 txtcombine()

以上这篇python批量读取txt文件为DataFrame的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

抵御代码复杂性使python函数更加Pythonic技巧示例详解
这篇文章主要介绍了抵御代码复杂性使python函数更加Pythonic技巧示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2024-01-01
Python入门教程4. 元组基本操作
这篇文章主要介绍了Python元组基本操作,简单介绍了元组的创建、count方法元素统计、index方法元素获取等相关操作技巧与注意事项,需要的朋友可以参考下
2018-10-10
python与C互相调用的方法详解
这篇文章主要给大家介绍了关于python与C互相调用方法的相关资料，文中通过示例代码详细介绍了动用的方法，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面跟着小编来一起学习学习吧。
2017-07-07
Python使用BeautifulSoup库解析HTML基本使用教程
这篇文章主要介绍了Python使用BeautifulSoup库解析HTML基本使用教程,文中主要对其适合于制作爬虫方面的特性进行了解析,需要的朋友可以参考下
2016-03-03
python isinstance函数用法详解
这篇文章主要介绍了python isinstance函数用法详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-02-02
Python针对给定字符串求解所有子序列是否为回文序列的方法
这篇文章主要介绍了Python针对给定字符串求解所有子序列是否为回文序列的方法,涉及Python针对字符串的遍历、判断、运算相关操作技巧,需要的朋友可以参考下
2018-04-04
python selenium模拟点击问题解决方案
这篇文章主要介绍了python selenium模拟点击问题，涉及到安装谷歌浏览器和浏览器驱动的相关知识介绍，本文结合实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
2022-05-05
python 写一个性能测试工具（一）
这篇文章主要介绍了利用python 写一个性能测试工具，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下
2020-10-10
手把手教你用322行Python代码编写贪吃蛇游戏
最近在学Python,想做点什么来练练手,命令行的贪吃蛇一般是C的练手项目,但是一时之间找不到别的,就先做个贪吃蛇来练练简单的语法,下面这篇文章主要给大家介绍了关于如何用322行Python代码编写贪吃蛇游戏的相关资料,需要的朋友可以参考下
2023-02-02
Python中os模块的实例用法
在本篇文章里小编给大家整理的是一篇关于Python中os模块的实例用法，有兴趣的朋友们可以学习下。
2021-06-06