Python实现的txt文件去重功能示例
更新时间：2018年07月07日 09:00:36 作者：人饭子
这篇文章主要介绍了Python实现的txt文件去重功能,涉及Python针对txt文本文件的读写、字符串遍历、判断相关操作技巧,需要的朋友可以参考下
本文实例讲述了Python实现的txt文件去重功能。分享给大家供大家参考，具体如下：
# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "/Users/Administrator/Desktop/old.txt" #old
writeDir = "/Users/Administrator/Desktop/new.txt" #new
# txtDir = "/home/Administrator/Desktop/１"
lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
if line not in lines_seen:
a+=1
outfile.write(line)
lines_seen.add(line)
print(a)
print('\n')
outfile.close()
print("success")
其中old.tx如下：
www.jb51.net
www.baidu.com
www.sina.com.cn
www.jb51.net
www.google.com
www.sohu.com
www.jb51.net
www.163.com
运行后new.txt内容如下：
www.jb51.net
www.baidu.com
www.sina.com.cn
www.google.com
www.sohu.com
www.163.com
PS：这里再为大家提供几款相关工具供大家参考使用：
在线去除重复项工具：
http://tools.jb51.net/code/quchong
在线文本去重复工具：
http://tools.jb51.net/aideddesign/txt_quchong
更多关于Python相关内容感兴趣的读者可查看本站专题：《Python文件与目录操作技巧汇总》、《Python文本文件操作技巧汇总》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》
希望本文所述对大家Python程序设计有所帮助。
相关文章
这篇文章主要为大家分享了Python Socket编程之聊天室示例程序代码，感兴趣的小伙伴们可以参考一下2016-01-01
今天小编就为大家分享一篇python中for用来遍历range函数的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
让python json encode datetime类型
python2.6+ 自带的json模块，不支持datetime的json encode，每次都需要手动转为字符串，很累人，我们可以自己封装一个简单的方法处理此问题。2010-12-12
QChart是一个QGraphicScene中可以显示的QGraphicsWidget。本文将利用QtChart实现曲线图的绘制，文中的示例代码讲解详细，感兴趣的小伙伴可以了解一下2022-12-12
这篇文章主要给大家介绍了关于pandas参数设置的实用小技巧，文中通过实例代码结束的非常详细，对大家学习或者使用pandas具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2020-08-08
本文主要介绍了python字典翻转的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-05-05
最近决定写个P站的爬虫,实际操作起来确实遇到了些新问题,通过解决也有所收获,下面这篇文章主要给大家介绍了关于python爬虫实战项目之爬取pixiv图片的相关资料,需要的朋友可以参考下2022-07-07
今天小编就为大家分享一篇关于破解安装Pycharm的方法，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2018-10-10
本篇文章主要介绍了Django 跨域请求处理的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-05-05
这篇文章主要给大家介绍了关于Python图像文字识别的相关资料,本文介绍使用python进行图像的文字识别,将图像中的文字提取出来,可以帮助我们完成很多有趣的事情,需要的朋友可以参考下2024-02-02
最新评论