当前位置:Gxlcms > Python > python压缩文件的效率高吗?

python压缩文件的效率高吗?

时间:2021-07-01 10:21:17 帮助过:40人阅读

python压缩文件的效率高吗?这里使用shell脚本和Python脚本同样压缩文件进行对比,通过时间和压缩比对比发现Python的压缩比可以,但是效率低耗时较多。

Shell使用系统tar

Python使用tarfile模块,Python不开多线程的情况两者做文件打包压缩对比。

Python代码:

  1. #-*- coding: utf-8 -*-
  2. #!/usr/bin/evn python
  3. """
  4. USAGE:
  5. Bak_rsync_Python.py version
  6. """
  7. import sys
  8. import time
  9. import os
  10. import shutil
  11. import subprocess
  12. import tarfile
  13. rundir=os.getcwd()
  14. src_dir='/data/rsync_center'
  15. bak_dir='/data/backup/game/test'
  16. today=time.strftime("%Y_%m_%d", time.localtime())
  17. def main(version):
  18. #set local var
  19. md5="/sbin/md5"
  20. bak_file="rsync_center_"+today+"_"+version+".tgz" #多个变量联合做变量
  21. md5_file=rundir+"/md5/"+bak_file+".md5"
  22. cmd="%s %s > %s" % (md5,bak_file,md5_file)
  23. #print bak_file
  24. #print md5_file
  25. #tar src dir
  26. os.chdir(src_dir)
  27. tar=tarfile.open(bak_file,'w|gz')
  28. tar.add(src_dir)
  29. tar.close()
  30. #tgz file md5
  31. ret=subprocess.call(cmd,shell=True) #subprocess.call返回值是退出状态
  32. if ret !=0:
  33. print "md5 failed"
  34. sys.exit(1)
  35. #else: print ret
  36. #move tgz to dst dir
  37. shutil.move(bak_file,bak_dir)
  38. if __name__=='__main__':
  39. try:
  40. len(sys.argv)!=2
  41. except:
  42. print "Please give version"
  43. print __doc__
  44. else:
  45. print "start at",time.ctime()
  46. version=sys.argv[1]
  47. main(version)
  48. print "end at",time.ctime()

shell脚本:

  1. #!/bin/sh -
  2. # Bak_rsync_Shell.sh version
  3. shell_dir=`pwd`
  4. src_dir=/data/rsync_center
  5. bak_dir="/data/backup/game/test"
  6. log_file=${shell_dir}/rsync_center_bak.log
  7. Version=$1
  8. Today=`/bin/date +%Y_%m_%d`
  9. Fourteenday=`/bin/date -v -8d +%Y_%m_%d`
  10. bak_file="rsync_center_${Today}_${Version}.tgz"
  11. md5_file=${shell_dir}/md5/$bak_file.md5
  12. if [ $# -ne 1 ]
  13. then echo "Please give a version!"
  14. break
  15. else
  16. startdate=`date "+%Y-%m-%d %H:%M:%S"`
  17. echo "rsync_center backup Start at " $startdate
  18. cd $src_dir
  19. tar -zcf $bak_file ./
  20. /sbin/md5 $bak_file > $md5_file
  21. mv $bak_file $bak_dir/
  22. enddate=`date "+%Y-%m-%d %H:%M:%S"`
  23. echo "rsync_center backup Complete at" $enddate
  24. fi

运行对比:

  1. #du -sh /data/rsync_center/
  2. 112M /data/rsync_center/
  3. #sh Bak_rsync_Shell.sh testShell
  4. rsync_center backup Start at 2012-03-15 14:53:37
  5. tar: ./rsync_center_2012_03_15_testShell.tgz: Can't add archive to itself
  6. rsync_center backup Complete at 2012-03-15 14:53:46

使用了9秒

  1. #python Bak_rsync_Python.py testPython
  2. start at Thu Mar 15 14:54:54 2012
  3. end at Thu Mar 15 14:55:20 2012

使用了27秒

压缩大小差不多

  1. #ll -h /data/backup/game/test/ | awk '{print$5,$9}'
  2. 49M rsync_center_2012_03_15_testPython.tgz
  3. 49M rsync_center_2012_03_15_testShell.tgz

python使用代码53行(取出注释也有40行),shell使用代码26行

python的逻辑更复杂,shell更简单一点。

可见python在单线程的情况下,对于系统基本文件处理,比如复制移动,打包压缩不如shell简单高效。逻辑上也不利于SA快速理解。所以,Python在基本的系统管理上,可能不如Shell.

以上就是python压缩文件的效率高吗?的详细内容,更多请关注Gxl网其它相关文章!

人气教程排行