用Python写脚本,实现完全备份和增量备份的示例

  • 更新时间:2022-11-07 09:12:16
  • 编辑:扈宁乐
本站收集了一篇Python相关的编程文章,网友阎修竹根据主题投稿了本篇教程内容,涉及到完全备份和增量备份相关内容,已被481网友关注,如果对知识点想更进一步了解可以在下方电子资料中获取。

需求:

在/root/backup下面有两个文件夹dst和src。要求在周一的时候进行完全备份,其余日子进行增量备份。从src备份到dst。

思路及关键点:

建立一个文件,以字典方式记录src的文件名以及文件对应的md5的值

完全备份的时候将文件名和md5值写在一个文件里面。cPickle的知识点。

增量备份的时候比较文件名是否在key里面,没有就要备份;有的话,这个文件的md5值是否改变,改变了就要备份

os.path.join()拼接路径,os.listdir(),os.chdir()

time.strftime()判断周几

cPickle,可以无损记录所有Python的变量类型。文件操作。

tarfile对文件打包的使用

hashlib用于计算文件md5的值。注意不要一次打开一个文件,4k地打开,防止打开一个超大文件爆内存。

with file()可以打开一个文件之后不f.close()

#!/usr/bin/env python
import time
import os
import cPickle as p
import tarfile
import hashlib
baseDir = '/root/backup'
srcDir = 'src'
dstDir = 'dst'
fullName = "full_%s_%s.tar.gz" % (srcDir, time.strftime('%Y%m%d'))
incrName = "incr_%s_%s.tar.gz" % (srcDir, time.strftime('%Y%m%d'))
md5file = 'md5.data'
def md5sum(fname):
 m = hashlib.md5()
 with file(fname) as f:
  while True:
   data = f.read(4096)
   if len(data) == 0:
    break
   m.update(data)
 return m.hexdigest()
def fullBackup():
 md5Dict = {}
 fileList = os.listdir(os.path.join(baseDir,srcDir))
 for eachFile in fileList:
  md5Dict[eachFile] = md5sum(os.path.join(baseDir,srcDir,eachFile))
 with file(os.path.join(baseDir,dstDir,md5file),'w') as f:
  p.dump(md5Dict,f)
 tar = tarfile.open(os.path.join(baseDir,dstDir,fullName),'w:gz')
 os.chdir(baseDir)
 tar.add(srcDir)
 tar.close()
def incrBackup():
 newmd5 = {}
 fileList = os.listdir(os.path.join(baseDir,srcDir))
 for eachFile in fileList:
  newmd5[eachFile] = md5sum(os.path.join(baseDir,srcDir,eachFile))
 with file(os.path.join(baseDir,dstDir,md5file)) as f:
  storedmd5 = p.load(f)
 tar = tarfile.open(os.path.join(baseDir,dstDir,incrName),'w:gz')
 os.chdir(baseDir)
 for eachKey in newmd5:
  if (eachKey not in storedmd5) or (newmd5[eachKey] != storedmd5[eachKey]):
   tar.add(os.path.join(srcDir,eachKey))
 tar.close()
 with file(os.path.join(baseDir,dstDir,md5file),'w') as f:
  p.dump(newmd5,f)
def main():
 if time.strftime('%a') == 'Mon':
  fullBackup()
 else:
  incrBackup()
if __name__ == '__main__':
 main()
~  

以上这篇用Python写脚本,实现完全备份和增量备份的示例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。

Python相关教程

  • python3安装pip3的实例步骤

    这次给大家带来python3安装pip3的步奏详解,python3安装pip3的注意事项有哪些,下面就是实战案例,一起来看一下。

    发布时间:2020-02-02

  • Python实现微博动态图片爬取详解

    Python实现微博动态图片爬取详解

    给大家整理一篇关于Python的教程,这篇文章主要为大家介绍了如何利用Python中的爬虫实现微博动态图片的爬取,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起动手试一试

    发布时间:2022-06-28

  • python中常用的九种数据预处理方法

    这篇文章给大家分享了python中常用的九种预处理方法,对大家学习或使用python具有一定的参考价值,有需要的朋友们可以一起来看看。

    发布时间:2020-01-22

  • Python3+Pycharm+PyQt5环境搭建步骤图文详解

    这篇文章主要介绍了Python3+Pycharm+PyQt5环境搭建步骤图文详解,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下

    发布时间:2021-04-26

  • 如何利用python开发手机app

    如何利用python开发手机app

    给大家整理了关于python的教程,Python具有丰富的第三方模块库,可以选择使用kivy开发框架进行app的开发,然后利用buildozer打包工具将kivy项目打包成手机APP。

    发布时间:2022-06-23

  • python测试opencv时imread导致的错误解决方法

    今天小编就为大家分享一篇解决python测试opencv时imread导致的错误问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

    发布时间:2019-06-05

  • Python读取excel指定列生成指定sql脚本的思路和方法

    今天小编就为大家分享一篇Python读取excel指定列生成指定sql脚本的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

    发布时间:2019-06-06

  • 图文详解感知机算法原理及Python实现

    图文详解感知机算法原理及Python实现

    给网友们整理关于Python的教程,感知机是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别(取+1和-1二值)。本文将为大家详细讲讲感知机算法的原理及实现,需要的可以参考一下

    发布时间:2022-10-20

  • Python利用heapq实现一个优先级队列的方法

    Python利用heapq实现一个优先级队列的方法

    为网友们分享了关于Python的教程,今天小编就为大家分享一篇Python利用heapq实现一个优先级队列的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

    发布时间:2022-10-26

  • python3爬取TOP500的音乐信息的代码详解

    今天小编就为大家分享一篇python3 实现爬取TOP500的音乐信息并存储到mongoDB数据库中,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

    发布时间:2020-02-04

用户留言