如何利用python批量提取txt文本中所需文本并写入excel

 更新时间:2022年07月27日 10:49:07   作者:我想有很多头发和很多钱  
最近帮人写了几个小程序,所以记录下,下面这篇文章主要给大家介绍了关于如何利用python批量提取txt文本中所需文本并写入excel的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下

1.提取txt文本

我想要的文本

我想要的文本是如图所示,宝可梦的外貌描述文本,由于原本的数据源结构并不是很稳定,而且也不是表格形式,因此在csdn上查了半天。

最原始的一行一行提取(不建议,未采用)

fi = open("D:\python_learning\data\data\Axew.txt","r",encoding="utf-8")
wflag =False                #写标记
newline = []                #创建一个新的列表


for line in fi :            #按行读入文件,此时line的type是str
    if "=" in line:        #重置写标记
        wflag =False
    if "原型剖析" in line:     #检验是否到了要写入的内容
        wflag = True
        continue
    if wflag == True:
        K = list(line)
        if len(K)>1:           #去除文本中的空行
            for i in K :       #写入需要内容
                newline.append(i)

strlist = "".join(newline)      #合并列表元素
newlines = str(strlist)         #list转化成str
print(newlines)
"""
for D in range(1,100):                       #删掉句中()
    newlines = newlines.replace("({})".format(D),"")

for P in range(0,9):                               #删掉前面数值标题
    for O in  range(0,9):
        for U in range(0, 9):
           newlines = newlines.replace("{}.{}{}".format(P,O,U), "")
fo.write(newlines)

fo.close()
fi.close()

"""

源代码为:将提取出的txt文本储存到另外一个txt中,跟我的需求不符合,因此注释掉了

正则表达式提取

由于txt文件打开后不是数据格式,因此先转为列表形式(一行是一个元素);再将列表元素合到一起,转为一个元素。
re.compile函数可以创建正则函数

pattern= re.compile(r’=栖息地=\n(.*?)\n==’, flags=re.DOTALL)

flags=re.DOTALL 这样找寻文本时可以跨行;

’=栖息地=\n(.*?)\n==’ 正则表达式表示只要小括号里面的以‘=栖息地=\n’开头,‘\n==’结尾的所有文本

pattern.findall函数可以在文本中找到符合正则函数的文本,但是莫名其妙会重复好多次,这个问题应该是我哪里写错了,但是因为实在没空纠结这个,所以直接用result=pattern.findall(f2)[0]来提取第一个。

path='D:\\python_learning\\data\\data\\'+df.iloc[0,3]+'.txt'
#为循环做准备
import re

f1=list(open(path,"r",encoding="utf-8"))#列表格式
f2="".join(f1)#合并列表元素
#print(type(f3))

pattern= re.compile(r'===栖息地===\n(.*?)\n==', flags=re.DOTALL)#在所有行里找以‘===栖息地===\n'开头,‘\n=='结尾的所有文本

if len(pattern.findall(f2))==0:#有可能找不到,以防报错
    result='none'
else:
        result=pattern.findall(f2)[0]

print(result)

2.增加数据框的列

由于我需要在已有数据集上增加上面提取到的文本数据,因此我准备先把csv数据放到Python里变成数据框,再把数据框里扩列,再改内容,再写入新的csv。

参考了代码,这个比较乱,只看第一个import下面就行,我单纯就是留个记录:

#数据框增加列的参考
import pandas as pd
df = pd.DataFrame(columns = list('abcd'),data = [[6,7,8,9],[10,11,12,13]])
#在b列前面增加一个m列
col_name = list(df.columns)
col_name.insert(1,'m')
df.reindex(columns = col_name,fill_value = 12)
#在b列前一次性增加三列h,n,g
col_name = col_name[0:2]+list('hng')+col_name[2:]
df.reindex(columns = col_name,fill_value = 10)
import pandas as pd

df = pd.DataFrame(columns =word,data = [['Bulbasaur',7,8,9],[10,11,12,13]])
print(df)
col_name = list(df.columns)#列名
print(col_name )
#在b列前面增加一个m列

col_name.insert(1,'m')
print(col_name)
df=df.reindex(columns =['name','概述', '外貌', '栖息地', '原型剖析'],fill_value = 12)
print(df)

3.引入基础csv数据,并扩列

是之后循环和写入的基础

import pandas as pd
data_name = pd.read_csv(r'D:\python_learning\data\basedata.csv')
#print(data_name)
word=['概述','外貌','栖息地','原型剖析']
col_name = list(data_name.columns)#列名
col_name = col_name +word#添加新的列名
#print(col_name )
df=data_name.reindex(columns = col_name,fill_value =' ')#在数据框中增加四列,填充空格
print(df)
#print(df.iloc[2,2])

我的数据是这样的:

汇总

把上面的放在一起,并且把需要循环的模块写成函数:

# #  引入包

# In[ ]:

import re
import pandas as pd

# # 引入基础数据

# In[135]:

data_name = pd.read_csv(r'D:\python_learning\data\basedata.csv')
#print(data_name)
word=['概述','外貌','栖息地','原型剖析']

col_name = list(data_name.columns)#列名
col_name = col_name +word#添加新的列名

#print(col_name )
df=data_name.reindex(columns = col_name,fill_value =' ')#在数据框中增加四列,填充空格
#print(df)
#print(df.iloc[2,2])

# # 引入函数

# In[ ]:

#去除空行函数
def deletespace(path1,path2):
    with open(path1,'r',encoding = 'utf-8') as fr,open(path2,'w',encoding = 'utf-8') as fd:
            for text in fr.readlines():
                    if text.split():
                            fd.write(text)
            print('输出成功....')
    fr.close()
    fd.close()

# In[143]:

#正则找文本
def find(path,conversion):
    f1=list(open(path,"r",encoding="utf-8"))#列表格式
    f2="".join(f1)#合并列表元素
    #print(type(f3))

    pattern= re.compile(conversion, flags=re.DOTALL)#在所有行里找以‘===栖息地===\n'开头,‘\n=='结尾的所有文本

    if len(pattern.findall(f2))==0:#有可能找不到,以防报错
        result='none'
    else:
            result=pattern.findall(f2)[0]
    return result

# # 起始准备 把所有空行消除,不需要运行第二遍

# In[ ]:

data_name = pd.read_csv(r'D:\python_learning\data\basedata.csv')
for word in df.iloc[:,3]:
    path1='D:\\python_learning\\data\\data\\'+word+'.txt'#爬虫获取的数据
    path2='D:\\python_learning\\data\\description\\'+word+'.txt'
    deletespace(path1,path2)

# # 开始循环

# In[ ]:

word=['概述','外貌','栖息地','原型剖析']#根据文本中情况进行正则
conversion=['==概述==\n(.*?)==','===外貌===\n(.*?)==','===栖息地===\n(.*?)==','==原型剖析==\n(.*?)==']#正则文本

word1=col_name[7]
print(word1)
newlines=seek(path,word1)
print(newlines)

# In[145]:

print(len(df))
print(len(list(df.columns)))

# In[150]:

for i in range(len(df)):
    for j in range(6,len(list(df.columns))):
        path='D:\\python_learning\\data\\description\\'+df.iloc[i,3]+'.txt'
        k=j-6
        cword=conversion[k]
        result=find(path,cword)
        df.iloc[i,j]=result
# In[152]:

df.to_csv('df.csv',encoding ='utf_8_sig')#输出中文必须用这个utf_8_sig  编码才是中文
print("已输出文档")
#出现问题,很多匹配不到,发现是原始文本的原因

总之我文本描述的准备是差不多了。

总结 

到此这篇关于如何利用python批量提取txt文本中所需文本并写入excel的文章就介绍到这了,更多相关python批量提取txt文本写入excel内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python机器学习之使用Pyecharts制作可视化大屏

    Python机器学习之使用Pyecharts制作可视化大屏

    pyecharts是一个用于生成Echarts图表的Python库,Echarts是百度开源的一个数据可视化 JS 库,可以生成一些非常酷炫的图表,这篇文章主要给大家介绍了关于Python机器学习之Pyecharts制作可视化大屏的相关资料,需要的朋友可以参考下
    2021-10-10
  • python PyTorch预训练示例

    python PyTorch预训练示例

    这篇文章主要介绍了python PyTorch预训练示例,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-02-02
  • django中的select_related和prefetch_related性能优化分析

    django中的select_related和prefetch_related性能优化分析

    这篇文章主要介绍了django中的select_related和prefetch_related性能优化分析,本文给大家介绍的非常详细,需要的朋友可以参考下
    2024-07-07
  • numpy下的flatten()函数用法详解

    numpy下的flatten()函数用法详解

    这篇文章主要介绍了numpy下的flatten()函数用法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-05-05
  • PIL包中Image模块的convert()函数的具体使用

    PIL包中Image模块的convert()函数的具体使用

    这篇文章主要介绍了PIL包中Image模块的convert()函数的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-02-02
  • Python中的魔法方法__repr__和__str__用法实例详解

    Python中的魔法方法__repr__和__str__用法实例详解

    这篇文章主要介绍了Python中的__repr__和__str__方法,它们分别用于提供对象的官方字符串表示和用户友好的字符串表示,通过重写这两个方法,可以自定义对象的打印输出,文中通过代码将用法介绍的非常详细,需要的朋友可以参考下
    2025-02-02
  • Python Numpy库datetime类型的处理详解

    Python Numpy库datetime类型的处理详解

    这篇文章主要介绍了Python Numpy库datetime类型的处理详解,Python中自带的处理时间的模块就有time 、datetime、calendar,另外还有扩展的第三方库,如dateutil等等。。当我们用NumPy库做数据分析时,如何转换时间呢?需要的朋友可以参考下
    2019-07-07
  • 浅谈pyhton学习中出现的各种问题(新手必看)

    浅谈pyhton学习中出现的各种问题(新手必看)

    下面小编就为大家带来一篇浅谈pyhton学习中出现的各种问题(新手必看)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-05-05
  • Python常用的文件及文件路径、目录操作方法汇总介绍

    Python常用的文件及文件路径、目录操作方法汇总介绍

    这篇文章主要介绍了Python常用的文件及文件路径、目录操作方法汇总介绍,本文集合了最常用的一些文件和目录操作函数,并一一介绍它们的作用,需要的朋友可以参考下
    2015-05-05
  • 基于Python实现简单的定时器详解

    基于Python实现简单的定时器详解

    所谓定时器,是指间隔特定时间执行特定任务的机制。几乎所有的编程语言,都有定时器的实现。这篇文章主要介绍的是通过Python实现的定时器,感兴趣的可以跟随小编学习一下
    2021-12-12

最新评论