Python实现的txt文件去重功能示例
更新时间：2018年07月07日 09:00:36 作者：人饭子
这篇文章主要介绍了Python实现的txt文件去重功能,涉及Python针对txt文本文件的读写、字符串遍历、判断相关操作技巧,需要的朋友可以参考下
本文实例讲述了Python实现的txt文件去重功能。分享给大家供大家参考，具体如下：
# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "/Users/Administrator/Desktop/old.txt" #old
writeDir = "/Users/Administrator/Desktop/new.txt" #new
# txtDir = "/home/Administrator/Desktop/１"
lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
if line not in lines_seen:
a+=1
outfile.write(line)
lines_seen.add(line)
print(a)
print('\n')
outfile.close()
print("success")
其中old.tx如下：
www.jb51.net
www.baidu.com
www.sina.com.cn
www.jb51.net
www.google.com
www.sohu.com
www.jb51.net
www.163.com
运行后new.txt内容如下：
www.jb51.net
www.baidu.com
www.sina.com.cn
www.google.com
www.sohu.com
www.163.com
PS：这里再为大家提供几款相关工具供大家参考使用：
在线去除重复项工具：
http://tools.jb51.net/code/quchong
在线文本去重复工具：
http://tools.jb51.net/aideddesign/txt_quchong
更多关于Python相关内容感兴趣的读者可查看本站专题：《Python文件与目录操作技巧汇总》、《Python文本文件操作技巧汇总》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》
希望本文所述对大家Python程序设计有所帮助。
相关文章
这篇文章主要介绍了python3 爬取图片的实例代码,代码简单易懂，非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下2018-11-11
这篇文章主要给大家介绍了软玉Python中常见的序列化操作的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-06-06
在本篇文章里小编给大家分享了关于python+webdriver自动化环境搭建的详细步骤以及注意点，需要的朋友们参考下。2019-06-06
今天小编就为大家分享一篇在Python 中实现图片加框和加字的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
这篇文章介绍了Python使用Pillow进行图像处理的方法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-06-06
这篇文章主要介绍了Python文件读写w+和r+区别解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-03-03
今天小编就为大家分享一篇关于Python批量删除只保留最近几天table的代码实例，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-04-04
这篇文章主要为大家详细介绍了python中pandas增加列的七种常用方法,文中的示例代码讲解详细,具有一定的借鉴价值,感兴趣的小伙伴可以参考一下2023-11-11
Python判断字符串是否为字母或者数字(浮点数)的多种方法
本文给大家带来三种方法基于Python判断字符串是否为字母或者数字(浮点数),非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下2018-08-08
这篇文章主要介绍了Python实现的人工神经网络算法,结合实例形式分析了Python基于反向传播算法实现的人工神经网络相关操作技巧,需要的朋友可以参考下2017-11-11
最新评论