Python实现的txt文件去重功能示例
更新时间：2018年07月07日 09:00:36 作者：人饭子
这篇文章主要介绍了Python实现的txt文件去重功能,涉及Python针对txt文本文件的读写、字符串遍历、判断相关操作技巧,需要的朋友可以参考下
本文实例讲述了Python实现的txt文件去重功能。分享给大家供大家参考，具体如下：
# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "/Users/Administrator/Desktop/old.txt" #old
writeDir = "/Users/Administrator/Desktop/new.txt" #new
# txtDir = "/home/Administrator/Desktop/１"
lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
if line not in lines_seen:
a+=1
outfile.write(line)
lines_seen.add(line)
print(a)
print('\n')
outfile.close()
print("success")
其中old.tx如下：
www.jb51.net
www.baidu.com
www.sina.com.cn
www.jb51.net
www.google.com
www.sohu.com
www.jb51.net
www.163.com
运行后new.txt内容如下：
www.jb51.net
www.baidu.com
www.sina.com.cn
www.google.com
www.sohu.com
www.163.com
PS：这里再为大家提供几款相关工具供大家参考使用：
在线去除重复项工具：
http://tools.jb51.net/code/quchong
在线文本去重复工具：
http://tools.jb51.net/aideddesign/txt_quchong
更多关于Python相关内容感兴趣的读者可查看本站专题：《Python文件与目录操作技巧汇总》、《Python文本文件操作技巧汇总》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》
希望本文所述对大家Python程序设计有所帮助。
相关文章
Python是一个很酷的语言,因为你可以在很短的时间内利用很少的代码做很多事情，再加上正则表达式就更能体现其效果，下面这篇文章主要给大家介绍了关于python中通过预先编译正则表达式提高效率的相关资料，需要的朋友可以参考下。2017-09-09
这篇文章主要介绍了Python实现计算文件夹下.h和.cpp文件的总行数,本文直接给出实现代码,需要的朋友可以参考下2015-04-04
今天小编就为大家分享一篇利用python在大量数据文件下删除某一行的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
说到童年爱玩的电脑游戏,最国民的莫过于金山打字通，接着是扫雷、红心大战，而红极一时的单机游戏当属《大富翁》。本文将通过Python的Pygame模块制作"长沙版"的大富翁，需要的可以参考一下2022-02-02
这篇文章主要介绍了Pyhton多线程采集图片方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-12-12
这篇文章主要介绍了python中类的一些方法分析,实例讲述了Python中子类调用父类时继承的方法问题,需要的朋友可以参考下2014-09-09
元组是一种不可变序列。元组变量的赋值要在定义时就进行，这就像C语言中的const变量或是C++的引用，定义时赋值之后就不允许有修改。元组存在的意义是：元组在映射中可以作为键使用，因为要保证键的不变性。元组作为很多内置函数和方法的返回值存在2021-09-09
这篇文章主要介绍了Python读取CSV文件的四种方法， 使用 csv 模块，使用 numpy 库，使用pandas库，使用标准库中的 csv 模块这四种方法，文章通过代码示例介绍的非常详细,需要的朋友可以参考下2023-07-07
本教程中,我将会使用Django和Vue创建一个支持多文件上传的文件上传器,您可以在单个文件和多个文件上传之间选择在应用中进行上传操作,文章通过代码示例截杀的非常详细,需要的朋友可以参考下2023-11-11
这篇文章主要介绍了关于Python的一些总结,希望自己以后在学习Python的过程中可以边学习边总结，就自己之前的学习先做以总结，之后将不断总结更新2018-05-05
最新评论