脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python实现两个文件夹的同步

python实现两个文件夹的同步

 更新时间：2019年08月29日 10:44:57   作者：Geek_Arking  
这篇文章主要为大家详细介绍了利用python实现两个文件夹的同步，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

其实无论windows还是Linux，简单地去实现两个两个文件夹的同步只需系统自带的复制命令加参数就可以了。

WINDOWS：

xcopy 源文件夹\* 目标文件夹 /s /e /y

Linux：

cp -r 源文件夹/* 目标文件夹

这里使用python来实现这些基本功能，并增加一些去重之类的增强功能。

1、复制源文件夹中文件至目标文件夹

要想同步两个文件夹中的数据，基本思路首先需要遍历源文件夹中的信息，将源文件夹中的文件复制到目标文件夹。

遍历文件夹采用os中的listdir函数就可以了。

import os
 
path_s = 'F:\\test\\s'
path_t = 'F:\\test\\t'
 
for filename in os.listdir(path_s):
 filename_s = path_s+os.sep+filename
 print '[*] Source :',filename_s
 filename_t = path_t+os.sep+filename
 print '[*] Target :',filename_t
 with open(filename_s,'rb') as f_s:
 with open(filename_t,'wb') as f_t:
  f_t.write(f_s.read())

但是很明显这里没有考虑源文件夹中还会存在文件夹甚至多重文件夹的情况。

2、源文件夹中存在多重文件夹

一个简单的思路就是：在遍历源文件夹内的文件时，先判定当前文件这是文件还是文件夹。如果当前文件是文件夹的话，开始遍历此文件夹内的文件，如果里面还有文件夹，遍历这个文件夹，依次类推。利用递归的方法，代码如下：

import os
 
 
path_s = 'F:\\test\\s'
path_t = 'F:\\test\\t'
 
def copy_file(paths,patht):
 for filename in os.listdir(paths):
 filename_s = paths+os.sep+filename
 filename_t = patht+os.sep+filename
 if os.path.isdir(filename_s):
  if not os.path.exists(filename_t):
  os.mkdir(filename_t) #在目标文件夹中创建对应的文件夹
  copy_file(filename_s,filename_t) # 递归
 else:
  print '[*] Source :',filename_s
 
  print '[*] Target :',filename_t
  with open(filename_s,'rb') as f_s:
  with open(filename_t,'wb') as f_t:
   f_t.write(f_s.read())
 
 
copy_file(path_s,path_t)

目前，简单的文件夹复制功能已经实现了。

3、目标文件夹中已有文件不再复制

一个简单的方法就是在目标文件夹中复制文件之前先利用函数“os.path.exists”判定这个文件是否存在。

import os
 
 
path_s = 'F:\\test\\s'
path_t = 'F:\\test\\t'
 
def copy_file(paths,patht):
 for filename in os.listdir(paths):
 filename_s = paths+os.sep+filename
 filename_t = patht+os.sep+filename
 if os.path.isdir(filename_s):
  if not os.path.exists(filename_t):
  os.mkdir(filename_t)
  copy_file(filename_s,filename_t)
 else:
  if os.path.exists(filename_t):
  print '[*] "%s" already exists! ' % filename_t
  else:
  print '[*] Source :',filename_s
 
  print '[*] Target :',filename_t
  with open(filename_s,'rb') as f_s:
   with open(filename_t,'wb') as f_t:
   f_t.write(f_s.read())
 
copy_file(path_s,path_t)

这个办法避免了一部分已有文件的重复复制操作，减少了部分不必要的读写操作，但是却无法消除内容相同但名称、路径不同的重复文件。

4、利用MD5判定重复文件

目前判定两个文件是否相同，除了按字节逐个对比这个笨方法外，简单常用的办法就是利用MD5和CRC校验，或是按一定规律挑取文件的指定位置的数据块就行对比。

这次利用文件的MD5值，将目标文件夹中已有文件的MD5值保存到列表或字典中，每在源文件夹中读取一个文件就判定该文件的MD5值是否已经存在于MD5列表，没有的话再进行复制操作，并将该文件的MD5值写入列表。

import os
import hashlib
 
path_s = 'F:\\test\\s'
path_t = 'F:\\test\\t'
list_file = {}
 
def create_file_list(path):
 for name in os.listdir(path):
 filename = path+os.sep+name
 if os.path.isdir(filename):
  create_file_list(filename)
 else:
  with open(filename,'rb') as f:
  md5 = hashlib.md5(f.read()).hexdigest()
  if md5 not in list_file:
   list_file[md5] = 1
 
def copy_file(paths,patht):
 for filename in os.listdir(paths):
 filename_s = paths+os.sep+filename
 filename_t = patht+os.sep+filename
 if os.path.isdir(filename_s):
  if not os.path.exists(filename_t):
  os.mkdir(filename_t)
  copy_file(filename_s,filename_t)
 else:
  if os.path.exists(filename_t):
  print '[*] "%s" already exists! ' % filename_t
  else:
  with open(filename_s,'rb') as f_s:
   data = f_s.read()
   file_md5 = hashlib.md5(data).hexdigest()
   if file_md5 not in list_file:
   list_file[file_md5] = 1
   print '[*] Source :',filename_s
   print '[*] Target :',filename_t
   with open(filename_t,'wb') as f_t:
    f_t.write(data)
   else:
   print '[*] "%s"\'s MD5 already exists! ' % filename_t
 
create_file_list(path_t)
copy_file(path_s,path_t)

如下图，运行后内容相同的几个文件，只有第一次读取到的时候才写入目标文件夹，其他路径下的文件并没有复制到目标文件夹。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • Python初识二叉树续之实战binarytree

    Python初识二叉树续之实战binarytree

    binarytree库是一个Python的第三方库,这个库实现了一些二叉树相关的常用方法,使用二叉树时,可以直接调用,不需要再自己实现,下面这篇文章主要给大家介绍了关于Python初识二叉树之实战binarytree的相关资料,需要的朋友可以参考下
    2022-05-05
  • jupyter闪退的解决方法及卸载与安装教程

    jupyter闪退的解决方法及卸载与安装教程

    如果Anaconda的Jupyter Notebook无法打开并且频繁闪退,可能是由于一些配置问题或者软件冲突引起的,本文就来介绍一下jupyter闪退的解决方法及卸载与安装教程,感兴趣的可以了解一下
    2023-11-11
  • python实用的快捷语法技巧大全

    python实用的快捷语法技巧大全

    初识Python语言,觉得python满足了我上学时候对编程语言的所有要求,下面这篇文章主要给大家介绍了关于python实用的快捷语法技巧的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-02-02
  • Python3基础之基本运算符概述

    Python3基础之基本运算符概述

    这篇文章主要介绍了Python3基础的基本运算符,非常重要的知识点,需要的朋友可以参考下
    2014-08-08
  • python GUI库图形界面开发之PyQt5树形结构控件QTreeWidget详细使用方法与实例

    python GUI库图形界面开发之PyQt5树形结构控件QTreeWidget详细使用方法与实例

    这篇文章主要介绍了python GUI库图形界面开发PyQt5树形结构控件QTreeWidget详细使用方法与实例,需要的朋友可以参考下
    2020-03-03
  • 使用matplotlib画散点图的方法

    使用matplotlib画散点图的方法

    今天小编就为大家分享一篇使用matplotlib画散点图的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • Python判断变量名是否合法的方法示例

    Python判断变量名是否合法的方法示例

    今天小编就为大家分享一篇关于Python判断变量名是否合法的方法示例，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
    2019-01-01
  • python递归算法(无限递归,正常递归,阶乘)

    python递归算法(无限递归,正常递归,阶乘)

    本文主要介绍了python递归算法，包含无限递归,正常递归,阶乘等，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2024-02-02
  • 对Tensorflow中的变量初始化函数详解

    对Tensorflow中的变量初始化函数详解

    今天小编就为大家分享一篇对Tensorflow中的变量初始化函数详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-07-07
  • Python中标准库array数组操作举例详解

    Python中标准库array数组操作举例详解

    这篇文章主要介绍了Python中标准库array数组操作的相关资料,Python的array模块提供了固定类型数组类,用于高效存储同类型元素,节省内存并支持数值计算,需要的朋友可以参考下
    2025-04-04

最新评论