python去除文件中重复的行实例
更新时间：2018年06月29日 14:51:40 作者：yizhen_nlp
今天小编就为大家分享一篇python去除文件中重复的行实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python去除文件中重复的行，我们可以设置一个一个空list，res_list，用来加入没有出现过的字符行！
如果出现在res_list，我们就认为该行句子已经重复了，可以再加入到记录重复句子的list中。
如下代码：
# -*- coding: UTF-8 -*-
#程序功能是为了完成判断文件中是否有重复句子
#并将重复句子打印出来
res_list = []
#f = open('F:/master/master-work/code_of_graduate/LTP_data/raw_plain.txt','r')
f = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-res.txt','r')
res_dup = []
index = 0
file_dul = open('F:/master/master-work/code_of_graduate/chu_li_shuju/ldc-weibo-train-dul.txt', 'w')
for line in f.readlines():
index = index + 1
if line in res_list:
temp_str = ""
temp_str = temp_str + str(index) #要变为str才行
temp_line = ''.join(line)
temp_str = temp_str+temp_line
#最终要变为str类型
file_dul.write(temp_str); #将重复的存入到文件中
else:
res_list.append(line)
以上这篇python去除文件中重复的行实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python 如何实现访问者模式，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-07-07
for循环用于迭代序列（即列表、元组、字典、集合或字符串）。for 语句的写法如从对象开始按顺序给变量赋值，元素个数重复这个过程。对象可以是列表（数组）、元组、字符串等。本文将详细讲解Python中for定义迭代方法详解，需要的可以了解一下2022-04-04
BatchNorm2d原理、作用及pytorch中BatchNorm2d函数的参数使用
这篇文章主要介绍了BatchNorm2d原理、作用及pytorch中BatchNorm2d函数的参数使用方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-12-12
这篇文章主要介绍了Python中文分词库jieba(结巴分词)提取词,加载词,修改词频,定义词库详细使用介绍,需要的朋友可以参考下2022-04-04
Python设置matplotlib.plot的坐标轴刻度间隔以及刻度范围
这篇文章主要介绍了Python设置matplotlib.plot的坐标轴刻度间隔以及刻度范围，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-06-06
今天小编就为大家分享一篇在matplotlib的图中设置中文标签的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要介绍了Jetson NX 配置 pytorch的相关知识，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-03-03
这篇文章主要介绍了python安装gdal的两种方法,每种方法给大家介绍的都非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2019-10-10
这篇文章主要为大家详细介绍了python实现银行账户系统，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-02-02
这篇文章主要介绍了Django启动时找不到mysqlclient问题解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-11-11
最新评论