使用python读取txt文件的内容,并删除重复的行数方法

 更新时间:2018年04月18日 17:31:34   作者:猫猫与橙子  
下面小编就为大家分享一篇使用python读取txt文件的内容,并删除重复的行数方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

注意,本文代码是使用在txt文档上,同时txt文档中的内容每一行代表的是图片的名字。

#coding:utf-8 
import shutil 
readDir = "原文件绝对路经" 
writeDir = "写入文件的绝对路径" 
#txtDir = "/home/fuxueping/Desktop/1" 
lines_seen = set() 
outfile=open(writeDir,"w") 
f = open(readDir,"r") 
for line in f: 
  if line not in lines_seen: 
    outfile.write(line) 
    lines_seen.add(line) 
outfile.close() 
print "success" 

最终结果在在写入文件内容中,没有重复内容。

以上这篇使用python读取txt文件的内容,并删除重复的行数方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python实现多格式文本转为word

    Python实现多格式文本转为word

    在现代工作中,我们常常需要处理不同格式的文件,其中Word文档是最为常见的一种,本文主要介绍了如何使用Python创建一个全能的文件处理工具,能够将多种格式的文件转换为Word文档,需要的可以参考下
    2023-11-11
  • Python列表生成器的循环技巧分享

    Python列表生成器的循环技巧分享

    这篇文章主要介绍了Python列表生成器的循环技巧分享,本文讲解了列表生成器中一个循环和二个循环的不同写法,需要的朋友可以参考下
    2015-03-03
  • Anaconda3+tensorflow2.0.0+PyCharm安装与环境搭建(图文)

    Anaconda3+tensorflow2.0.0+PyCharm安装与环境搭建(图文)

    这篇文章主要介绍了Anaconda3+tensorflow2.0.0+PyCharm安装与环境搭建(图文),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-02-02
  • python 实现dcmtk关联pacs功能推送下拉影像(推荐)

    python 实现dcmtk关联pacs功能推送下拉影像(推荐)

    这篇文章主要介绍了python 实现dcmtk关联pacs功能 推送下拉影像,包含dcmtk关联pacs技术笔记等相关知识,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-10-10
  • python中文分词教程之前向最大正向匹配算法详解

    python中文分词教程之前向最大正向匹配算法详解

    中文分词是中文文本处理的一个基础性工作,然而长久以来,在Python编程领域,一直缺少高准确率、高效率的分词组件。下面这篇文章主要给大家介绍了关于python中文分词教程之前向最大正向匹配算法的相关资料,需要的朋友可以参考下。
    2017-11-11
  • Selenium环境变量配置(火狐浏览器)及验证实现

    Selenium环境变量配置(火狐浏览器)及验证实现

    这篇文章主要介绍了Selenium环境变量配置(火狐浏览器)及验证实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12
  • 卷积神经网络经典模型及其改进点学习汇总

    卷积神经网络经典模型及其改进点学习汇总

    这篇文章主要为大家介绍了卷积神经网络经典模型及其改进点学习汇总,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-05-05
  • 在RedHat系Linux上部署Python的Celery框架的教程

    在RedHat系Linux上部署Python的Celery框架的教程

    这篇文章主要介绍了在RedHat系Linux上部署Python的Celery框架的教程, Celery是一个并行分布框架,拥有良好的I/O性能,需要的朋友可以参考下
    2015-04-04
  • Python快速进修指南之向量数据库文本搜索

    Python快速进修指南之向量数据库文本搜索

    这篇文章主要为大家介绍了Java开发快速进修Python指南之向量数据库文本搜索,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2024-01-01
  • Python:合并两个numpy矩阵的实现

    Python:合并两个numpy矩阵的实现

    今天小编就为大家分享一篇Python:合并两个numpy矩阵的实现,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12

最新评论