Python实现的删除重复文件或图片功能示例【去重】
更新时间：2019年04月23日 10:36:33 作者：loveliuzz
这篇文章主要介绍了Python实现的删除重复文件或图片功能,结合实例形式分析了Python基于os与hashlib模块针对文件的读取、hash计算及重复性判定等相关操作技巧,需要的朋友可以参考下
本文实例讲述了Python实现的删除重复文件或图片功能。分享给大家供大家参考，具体如下：
通过python爬虫或其他方式保存的图片文件通常包含一些重复的图片或文件，
通过下面的python代码可以将重复的文件删除以达到去重的目的。其中，文件目录结构如下图：
# /usr/bin/env python
# -*- coding:utf-8 -*-
# 运行的代码文件要放到删除重复的文件或图片所包含的目录中
import os
import hashlib
def filecount():
filecount = int(os.popen('dir /B |find /V /C ""').read())
return (filecount)
def md5sum(filename):
f = open(filename, 'rb')
md5 = hashlib.md5()
while True:
fb = f.read(8096)
if not fb:
break
md5.update(fb)
f.close()
return (md5.hexdigest())
def delfile():
all_md5 = {}
filedir = os.walk(os.getcwd())
for i in filedir:
for tlie in i[2]:
if md5sum(tlie) in all_md5.values():
os.remove(tlie)
else:
all_md5[tlie] = md5sum(tlie)
if __name__ == '__main__':
oldf = filecount()
print('去重前有', oldf, '个文件\n\n\n请稍等正在删除重复文件...')
delfile()
print('\n\n去重后剩', filecount(), '个文件')
print('\n\n一共删除了', oldf - filecount(), '个文件\n\n')
更多关于Python相关内容感兴趣的读者可查看本站专题：《Python文件与目录操作技巧汇总》、《Python文本文件操作技巧汇总》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》
希望本文所述对大家Python程序设计有所帮助。
相关文章
这篇文章主要介绍了Python迭代用法,包括了迭代的定义及具体用法,是一个非常实用的技巧,需要的朋友可以参考下2014-09-09
在Python中，datetime模块是处理日期和时间的标准库，它提供了一系列功能强大的函数和类，用于处理日期、时间、时间间隔等，本文将深入探讨datetime模块的使用方法，感兴趣的可以了解下2023-08-08
这篇文章主要介绍了Python实现属性可修改的装饰器方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
这篇文章主要介绍了利用Python自动化操作AutoCAD的实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
这篇文章主要介绍了python自定义解析简单xml格式文件的方法,涉及Python解析XML文件的相关技巧,非常具有实用价值,需要的朋友可以参考下2015-05-05
这篇文章主要介绍了python如何解析配置文件并应用到项目中,如果我们更换了电脑也可以继续使用原来的文件，只要把里面的数据拷贝到游戏执行的配置文件里面就可以了，我们重新再进入就不用重新设置内挂的配置了,需要的朋友可以参考下2019-06-06
使用python+Flask实现日志在web网页实时更新显示
日志是一种可以追踪某些软件运行时所发生事件的方法,下面这篇文章主要给大家介绍了关于使用python+Flask实现日志在web网页实时更新显示的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2022-08-08
这篇文章主要为大家详细介绍了python中的换行以及转义的相关知识,文中的示例代码讲解详细,对我们深入了解python有一定的帮助,需要的小伙伴可以了解下2023-11-11
这篇文章主要介绍了详解Django中间件的5种自定义方法,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-07-07
这篇文章主要介绍了Django基础知识与基本应用,结合实例形式分析了Django框架基本的项目创建、启动、查看版本等操作,并结合一个简单的blog应用示例分析了Django的基本使用方法,需要的朋友可以参考下2018-07-07
最新评论