Python实现字典去除重复的方法示例
更新时间：2017年07月31日 12:15:56 作者：无法自拔
这篇文章主要介绍了Python实现字典去除重复的方法,涉及Python字典遍历、文件读取、去除重复等相关操作技巧,需要的朋友可以参考下
本文实例讲述了Python实现字典去除重复的方法。分享给大家供大家参考，具体如下：
#!/usr/bin/env python
# encoding: utf-8
#字典去重小代码
import sys
import os
import platform
try:
pass
except:
print '''you have something wrong this is a simple jiaoben '''
sys.exit()
why = 'why.txt'
for i in xrange(len(sys.argv)):
if(i>=1):
other = sys.argv[i]
if os.path.exists(other):
pass
else:
print other + ' file not find'
sys.exit()
if 'Windows' in platform.system():
os.system("type "+other+" >> "+why)
else:
os.system("cat "+other+" >> "+why)
yuan = open('why.txt','r')
dirc = open('whynot.txt','w')
for line in set(yuan.readlines()):
if line == '' or line == '\r\n':
pass
else:
dirc.writelines(line)
很简单的思路 把文件放入到why.txt中 然后再去重得到whynot.txt
Usage: quchong.py 1.txt 2.txt 3.txt 等等
PS：本站还有两款比较简单实用的在线文本去重复工具，推荐给大家使用：
在线去除重复项工具：
http://tools.jb51.net/code/quchong
在线文本去重复工具：
http://tools.jb51.net/aideddesign/txt_quchong
更多关于Python相关内容可查看本站专题：《Python字典操作技巧汇总》、《Python字符串操作技巧汇总》、《Python常用遍历技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》及《Python入门与进阶经典教程》
希望本文所述对大家Python程序设计有所帮助。
相关文章
这篇文章主要为大家详细介绍了python爬虫实例，包括爬虫技术架构，组成爬虫的关键模块，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-06-06
很多小伙伴在学习python的时候可能会遇到对数据进行格式化输出的需求,其中最常见的需求为保留几位小数,这篇文章主要给大家介绍了关于Python保留指定位数小数的5种方法,需要的朋友可以参考下2023-08-08
这篇文章主要介绍了Python中闭包与lambda的作用域解析，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-07-07
这篇文章主要介绍了python音频处理的示例详解,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-12-12
本教程将指导你如何编写一个Python程序,该程序能够在启动时检查计算机的CPU型号,如果检测到CPU型号包含“I3”,则会弹出一个警告窗口,感兴趣的小伙伴跟着小编一起来看看吧2024-12-12
我们使用Python处理日期/时间的时候，经常会遇到各种各样的问题。本文为大家总结了两个Python比较两个日期的方法，需要的可以参考一下2022-07-07
PDF文件中的图片可以丰富文档内容,提升用户的阅读体验,除了在PDF中添加图片外,有时也需要替换或删除其中的图片,文本将提供三个示例,介绍如何使用Python 操作PDF文件中的图片,需要的朋友可以参考下2024-04-04
这篇文章主要介绍了python计算圆周率pi的方法,涉及Python针对数学运算的相关技巧,需要的朋友可以参考下2015-07-07
这篇文章主要介绍了将python文件打包成exe可运行文件的步骤，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2023-04-04
这篇文章主要介绍了Python实现bilibili时间长度查询的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-01-01
最新评论