python实现文本去重且不打乱原本顺序

 更新时间:2016年01月26日 22:43:36   投稿:mdxy-dxy  
这篇文章主要介绍了python实现文本去重且不打乱原本顺序,需要的朋友可以参考下

代码也是在网上找的,效率挺不错的,特别适合字典文件的去重

#coding=utf-8
import sys
def open_txt(): #打开TXT文本写入数组
try:
xxx = file(sys.argv[1], 'r')
for xxx_line in xxx.readlines():
passlist.append(xxx_line)
xxx.close()
except:
return 0

def write_txt(): #打开TXT文本写入数组
try:
yyy = file(sys.argv[2], 'w')
for i in list_passwed:
yyy.write(i)
yyy.close()
except:
return 0

global passlist #声明全局变量
passlist = [] #用户名:anonymous 密码为空
open_txt() #TXT导入数组
#passlist = list(set(passlist)) #python 列表去重
global list_passwed #列表去重,不打乱原来的顺序
list_passwed=[]
for i in passlist:
if i not in list_passwed:
list_passwed.append(i)
write_txt()

python 读取TXT到数组 列表去重,不打乱原来的顺序

####################################################################
#qq:316118740
#BLOG:http://hi.baidu.com/alalmn
# python 读取TXT到数组 列表去重,不打乱原来的顺序
# 刚学写的不好请大家见谅
####################################################################
 
 
 
def open_txt(): #打开TXT文本写入数组
 try:
  infile = file('admin.txt', 'r')
  xxx = file('admin.txt', 'r')
  for xxx_line in xxx.readlines():
   passlist.append(xxx_line)
  xxx.close()
 except:
  return 0
 
def list_del(): #清空list列表
 try:
  i = 0 #得到list的第一个元素
  while i < len(passlist):
   del passlist[i]
   del list_passwed[i]
 except:
  return 0
 
 
 
###################################### 
 
 global passlist #声明全局变量
 passlist = [] #用户名:anonymous 密码为空
 www_cj(www) #域名拆解
 open_txt() #TXT导入数组
 #passlist = list(set(passlist)) #python 列表去重
 global list_passwed #列表去重,不打乱原来的顺序
 list_passwed=[]
 for i in passlist:
  if i not in list_passwed:
   list_passwed.append(i)
###################################### 遍历数组组合出 密码
 I1 = 0 #得到list的第一个元素
 while I1 < len(list_passwed):
  print "WWWWWWWWWWW",I1
  if I1==len(list_passwed):
   break #退出循环
  I2 = 0 #得到list的第一个元素
  while I2 < len(list_passwed):
   print "1111:",list_passwed[I1],"2222:",list_passwed[I2]
   I2 = I2 + 1 #二层
  I1 = I1 + 1 #一层
######################################

补充

# -*- coding: utf-8 -*-
'''
只使用与较小的文件,比较大的文件运行时间长
'''
def quchong(infile,outfile):

  infopen = open(infile,'r',encoding='utf-8')
  outopen = open(outfile,'w',encoding='utf-8')
  lines = infopen.readlines()
  list_1 = []
  for line in lines:
    if line not in list_1:
      list_1.append(line)
      outopen.write(line)
  infopen.close()
  outopen.close()
quchong("源文件路径","目标文件路径")

本文实例讲述了python读取TXT到数组及列表去重后按原来顺序排序的方法。分享给大家供大家参考。

相关文章

  • 通过Python脚本批量复制并规范命名视频文件

    通过Python脚本批量复制并规范命名视频文件

    本文介绍了如何通过Python脚本批量复制并规范命名视频文件,实现自动补齐数字编号、保留原始文件、智能识别有效文件等功能,听过代码示例介绍的非常详细,需要的朋友可以参考下
    2025-03-03
  • django admin 根据choice字段选择的不同来显示不同的页面方式

    django admin 根据choice字段选择的不同来显示不同的页面方式

    这篇文章主要介绍了django admin 根据choice字段选择的不同来显示不同的页面方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-05-05
  • 基于Python编写一个简单的摇号系统

    基于Python编写一个简单的摇号系统

    在现代社会中,摇号系统广泛应用于车牌摇号、房屋摇号等公共资源分配领域,本文将详细介绍如何使用Python实现一个简单的摇号系统,有需要的可以了解下
    2024-11-11
  • python3 发送任意文件邮件的实例

    python3 发送任意文件邮件的实例

    下面小编就为大家分享一篇python3 发送任意文件邮件的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-01-01
  • Python基于pyCUDA实现GPU加速并行计算功能入门教程

    Python基于pyCUDA实现GPU加速并行计算功能入门教程

    这篇文章主要介绍了Python基于pyCUDA实现GPU加速并行计算功能,结合实例形式分析了Python使用pyCUDA进行GPU加速并行计算的原理与相关实现操作技巧,需要的朋友可以参考下
    2018-06-06
  • Python检查ping终端的方法

    Python检查ping终端的方法

    今天小编就为大家分享一篇Python检查ping终端的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • pywinauto自动化测试使用经验

    pywinauto自动化测试使用经验

    本文主要介绍了pywinauto自动化测试使用经验,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • Python Pillow.Image 图像保存和参数选择方式

    Python Pillow.Image 图像保存和参数选择方式

    今天小编就为大家分享一篇Python Pillow.Image 图像保存和参数选择方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • 5个Python杀手级的自动化脚本分享

    5个Python杀手级的自动化脚本分享

    Python是一种功能强大的语言,广泛用于自动执行各种任务,只要想通过自动化日常任务来节省时间的人,Python 都能满足您的需求。本文整理了5个Python脚本,希望对大家有所帮助
    2023-01-01
  • python切片复制列表的知识点详解

    python切片复制列表的知识点详解

    在本篇文章里小编给大家整理的是一篇关于python切片复制列表的知识点相关内容,有兴趣的朋友们可以跟着学习下。
    2021-10-10

最新评论