如何使用tar进行文件归档,看完你就懂了(代码片段)

小小伍运维员 小小伍运维员     2022-12-26     348

关键词:

 

什么是文件归档?

文件归档就是将一组拥有相同属性的文件或目录组合到一个文件中,并从新存储它们到一个专门的目录中,以便以后在需要时进行查阅。比方说,很多情况下,我们的系统日志是有轮询的,旧的日志,会在一定的时间内会被自动删除,我们需要经常对日志进行归档,以保存旧的日志,以便我们在需要时进行查阅。

使用 tar 命令归档文件或目录

tar 可以将多个文件打包成一个文件,以便在网络上传输和归档,当你需要时,可以将他们提取出来。该归档文件还可以使用 gzipbzip2 和 xz 压缩方式进行文件压缩。

使用 tar 命令对 /var/log/ 文件里面的 log 进行归档,其中 c 选项表示创建一个归档文件,f 选项用于指定归档文件的名称;

[root@websvr ~]# tar -cf log.tar /var/log/
tar: Removing leading `/' from member names
[root@websvr ~]# ls
log.tar
[root@websvr ~]# 

* 在执行归档时,如果归档的目录包含根目录 ” / ” ,则在归档的时候,会自定删除根目录,这样做的目的就是防止在提取文件时发生误操作,覆盖原文件,确保提取文件时,始终会是在当前目录。

如果你想在归档过程中显示归档的细节,归档了哪些文件,你可以通过添加 v 选项,来实现这一目的;

[root@websvr ~]# tar -cvf log1.tar /var/log/
tar: Removing leading `/' from member names
/var/log/
/var/log/lastlog
/var/log/private/
/var/log/wtmp
/var/log/samba/
/var/log/samba/old/
/var/log/audit/
/var/log/audit/audit.log.4
/var/log/audit/audit.log.3
/var/log/audit/audit.log.2
/var/log/audit/audit.log.1
/var/log/audit/audit.log
/var/log/spooler-20201101
/var/log/sssd/
/var/log/sssd/sssd_implicit_files.log-20200705.gz
/var/log/sssd/sssd_nss.log-20200705.gz
/var/log/sssd/sssd_implicit_files.log-20200712
... output omitted ...

如果你想查看归档文件中的具体内容,你可以使用 t 选项来查看 log.tar 文件中的内容;

[root@websvr ~]# tar -tf log.tar
var/log/
var/log/lastlog
var/log/private/
var/log/wtmp
var/log/samba/
var/log/samba/old/
var/log/audit/
var/log/audit/audit.log.4
var/log/audit/audit.log.3
var/log/audit/audit.log.2
var/log/audit/audit.log.1
var/log/audit/audit.log
var/log/spooler-20201101
var/log/sssd/
var/log/sssd/sssd_implicit_files.log-20200705.gz
var/log/sssd/sssd_nss.log-20200705.gz
var/log/sssd/sssd_implicit_files.log-20200712
... output omitted ...

当需要时,我们可以使用 x 选项来提取 log.tar 中的文件

[root@websvr ~]# mkdir log
[root@websvr ~]# cd log/
[root@websvr log]# tar -xf ~/log.tar 
[root@websvr log]# ls
var
[root@websvr log]# ls var/
log
[root@websvr log]# ls var/log/
anaconda               cron                      dnf.log.2                     httpd              messages-20201018  spooler
audit                  cron-20201011             dnf.log.3                     insights-client    messages-20201025  spooler-20201011
boot.log               cron-20201018             dnf.log.4                     journal            messages-20201101  spooler-20201018
boot.log-20200622      cron-20201025             dnf.rpm.log                   lastlog            php-fpm            spooler-20201025
boot.log-20200629      cron-20201101             ecs_network_optimization.log  maillog            private            spooler-20201101
boot.log-20200706      dnf.librepo.log           exim                          maillog-20201011   sa                 sssd
btmp                   dnf.librepo.log-20201011  grafana                       maillog-20201018   samba              tuned
btmp-20201101          dnf.librepo.log-20201018  hawkey.log                    maillog-20201025   secure             wtmp
chrony                 dnf.librepo.log-20201025  hawkey.log-20201011           maillog-20201101   secure-20201011    zabbix
cloudinit-deploy.log   dnf.librepo.log-20201101  hawkey.log-20201018           mariadb            secure-20201018
cloud-init.log         dnf.log                   hawkey.log-20201025           messages           secure-20201025
cloud-init-output.log  dnf.log.1                 hawkey.log-20201101           messages-20201011  secure-20201101

压缩存档文件

当我们要归档的文件比较大时,或者我们想在网络上传输我们的归档文件,这个时候,我们需要在归档文件的时候,对文件进行一个压缩,从而减少对带宽的要求。

tar 支持三种压缩方式:

  • gzip 压缩速度最快,使用最广泛,但压缩率相对较低

  • bzip2 压缩文件通常会比 gzip 要小,但使用没有 gzip广泛

  • xz 相对比较新,但压缩率是三个中最高的

创建压缩文件选项:

  • 通过 -z 选项创建 gzip 方式的压缩文件(*.tar.gz 或 *.tgz)

  • 通过 -j 选项创建 bzip 方式的压缩文件(*.tar.bz2)

  • 使用 -J 选项创建 xz 方式的压缩文件(*.tar.xz)

创建 gzip 格式的压缩存档

[root@websvr ~]# tar -czf log.tar.gz /var/log/
tar: Removing leading `/' from member names
[root@websvr ~]# ls -lh log*
-rw-r--r-- 1 root root 760M Nov  6 08:16 log.tar
-rw-r--r-- 1 root root  97M Nov  6 08:15 log.tar.gz
  • 通过比较发现压缩后的文件,比之前的小

资源使用率

top - 16:54:46 up 16:18,  2 users,  load average: 0.80, 0.59, 0.30
Tasks: 120 total,   2 running, 118 sleeping,   0 stopped,   0 zombie
%Cpu(s): 35.3 us, 11.0 sy,  0.0 ni, 43.1 id,  0.0 wa,  0.0 hi,  0.1 si, 10.4 st
MiB Mem :   1829.0 total,     80.7 free,    179.5 used,   1568.8 buff/cache
MiB Swap:      0.0 total,      0.0 free,      0.0 used.   1486.0 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND               
 1952 student   20   0    4604   1396   1108 S  83.6   0.1   0:11.27 gzip                  
 1951 student   20   0  247172   2884   2680 R  17.7   0.2   0:02.37 tar                   
   39 root      20   0       0      0      0 S   2.7   0.0   0:04.20 kswapd0               
 1755 root      20   0       0      0      0 I   0.1   0.0   0:00.22 kworker/0:0-events   

压缩文件所需的时间(30 个文件,每个文件 100M)

[root@websvr ~]# time tar -czf test.tar2.gz test_file*

real    0m29.983s
user    0m23.198s
sys 0m7.041s

创建 bzip2 格式的压缩存档

[root@websvr ~]# tar -cjf log.tar.bz2 /var/log/
tar: Removing leading `/' from member names
[root@websvr ~]# ls -lh log*
-rw-r--r-- 1 root root 760M Nov  6 08:16 log.tar
-rw-r--r-- 1 root root  81M Nov  6 08:21 log.tar.bz2
-rw-r--r-- 1 root root  97M Nov  6 08:15 log.tar.gz

  • 压缩率虽然比 gzip 的高,但高的不是很多

资源使用率

top - 16:52:56 up 16:16,  2 users,  load average: 0.44, 0.46, 0.22
Tasks: 120 total,   4 running, 116 sleeping,   0 stopped,   0 zombie
%Cpu(s): 43.7 us,  7.2 sy,  0.0 ni, 43.8 id,  0.1 wa,  0.0 hi,  0.0 si,  5.2 st
MiB Mem :   1829.0 total,     71.2 free,    186.4 used,   1571.4 buff/cache
MiB Swap:      0.0 total,      0.0 free,      0.0 used.   1479.0 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND               
 1949 student   20   0   13784   8592   1228 R  93.0   0.5   0:13.67 bzip2                 
 1948 student   20   0  247172   2732   2528 R   9.9   0.1   0:01.54 tar                   
   39 root      20   0       0      0      0 S   1.1   0.0   0:03.22 kswapd0               
  448 root      20   0       0      0      0 S   0.1   0.0   0:01.60 xfsaild/vda1          
 1950 root      20   0       0      0      0 I   0.1   0.0   0:00.01 kworker/1:2-mm_percp+ 

压缩文件所需的时间(30 个文件,每个文件 100M)

[root@websvr ~]# time tar -cjf test.tar3.bz2 test_file*

real    1m10.511s
user    1m1.819s
sys 0m10.762s

创建 xz 格式的压缩存档

[root@websvr ~]# tar -cJf log.tar.xz /var/log/
tar: Removing leading `/' from member names
[root@websvr ~]# ls -lh log*
-rw-r--r-- 1 root root 760M Nov  6 08:16 log.tar
-rw-r--r-- 1 root root  81M Nov  6 08:21 log.tar.bz2
-rw-r--r-- 1 root root  97M Nov  6 08:15 log.tar.gz
-rw-r--r-- 1 root root  50M Nov  6 08:29 log.tar.xz
  • 通过比较,xz 格式的压缩比最高,但压缩的时间也是最长的

资源的使用率

top - 16:51:36 up 16:15,  2 users,  load average: 0.94, 0.53, 0.22
Tasks: 120 total,   4 running, 116 sleeping,   0 stopped,   0 zombie
%Cpu(s): 45.2 us,  5.4 sy,  0.0 ni, 44.0 id,  0.0 wa,  0.0 hi,  0.0 si,  5.4 st
MiB Mem :   1829.0 total,     62.9 free,    259.0 used,   1507.1 buff/cache
MiB Swap:      0.0 total,      0.0 free,      0.0 used.   1406.3 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND               
 1946 student   20   0  316704  81244   2200 R  97.5   4.3   1:39.23 xz                    
 1945 student   20   0  247172   2828   2620 R   9.3   0.2   0:09.75 tar                   
   39 root      20   0       0      0      0 S   0.8   0.0   0:02.98 kswapd0               
   30 root      39  19       0      0      0 S   0.5   0.0   0:00.57 khugepaged            
 1942 root      20   0       0      0      0 R   0.1   0.0   0:00.31 kworker/1:0-events   

压缩文件所需的时间(30 个文件,每个文件 100M)

[root@websvr ~]# time tar -cJf test.tar3.xz test_file*

real    1m49.429s
user    1m40.588s
sys 0m16.924s

总结

对于归档文件的压缩,压缩率最高的是 xz 格式的,但它也是用时最多,消耗资源最多的;时间最快的是 gzip 并且它也是消耗资源最少的,但是它的压缩率不是没有另外两个高; bzip2 不管是时间和资源的消耗,还是压缩率,在这三个都是居中,不过,对于时间,它相比 xz 少的不是很多,压缩率,相比 gzip 也不是很高,所有适用的场景不是很多。

 

mysql7种join理论,看完你就懂了(代码片段)

select*fromtbl_empainnerjointbl_deptbona.deptId=b.id;select*fromtbl_empaLEFTJOINtbl_deptbona.deptId=b.id;select*fromtbl_empaRIGHTJOINtbl_deptbona.deptId=b.id;select*fromtbl_empaLEFTJOINtbl 查看详情

synchronized如何实现两个线程交替运行?看完你就懂了,列害dei(代码片段)

背景用两个线程交替输出A-Z和1-26,即一个线程输出A-Z,另一个线程输出1-26而且是交替形式线程1输出A——线程二输出1线程1输出B——线程二输出2线程1输出C——线程二输出3以此类推分析主要考察线程之间的通信,思路就是创建... 查看详情

用arraylist还是linkedlist?看完你就懂了!(代码片段)

本文旨在为Java开发这择合适的顺序数据结构提供指导。ArrayList和LinkedList是Java集合框架中用来存储对象引用列表的两个类。ArrayList和LinkedList都实现List接口。首先,让我们了解一下它们最重要的父接口——List。1.List接口列表(lis... 查看详情

用arraylist还是linkedlist?看完你就懂了!(代码片段)

本文旨在为Java开发这择合适的顺序数据结构提供指导。ArrayList和LinkedList是Java集合框架中用来存储对象引用列表的两个类。ArrayList和LinkedList都实现List接口。首先,让我们了解一下它们最重要的父接口——List。1.List接口列表&... 查看详情

java多线程提交,如何按照时间顺序获取线程结果,看完你就懂了|java工具类(代码片段)

目录前言Maven依赖代码总结前言在工作中是否存在这样的场景,多个线程提交执行,你不想全部线程执行结束了获取结果,而是有线程完成返回结果就获取消费。本文提供该场景的工具类,可以直接用哦。Maven依赖... 查看详情

oracle数据库为什么提示用户密码重置?看完你就懂了(代码片段)

作者简介作者:LuciferLiu,中国DBA联盟(ACDU)成员。目前主要从事OracleDBA工作,曾从事Oracle数据库开发工作,主要服务于生产制造,汽车金融等行业。现拥有OracleOCP,OceanBaseOBCA认证,擅长Oracle数据库运维... 查看详情

oracle数据库为什么提示用户密码重置?看完你就懂了(代码片段)

作者简介作者:LuciferLiu,中国DBA联盟(ACDU)成员。目前主要从事OracleDBA工作,曾从事Oracle数据库开发工作,主要服务于生产制造,汽车金融等行业。现拥有OracleOCP,OceanBaseOBCA认证,擅长Oracle数据库运维... 查看详情

深度分析!面试99%被问到的多线程和并发篇,看完你就懂了

...也就是使用了ExecutorService来管理前面的三种方式)。2、如何停止一个正在运行的线程1、使用退出标志,使线程正常退出,也就是当run方法完成 查看详情

mysql7种join理论,看完你就懂了

select*fromtbl_empainnerjointbl_deptbona.deptId=b.id;select*fromtbl_empaLEFTJOINtbl_deptbona.deptId=b.id;select*fromtbl_empaRIGHTJOINtbl_deptbona.deptId=b.id;select*fromtbl_empaLEFTJOINtbl 查看详情

知道dubbo性能为什么这么强?看完你就懂了!

前言为什么Dubbo说自己性能高?高性能要从底层的原理说起,既然是一个RPC框架,主要干的就是远程过程(方法)调用,那么提升性能就要从最关键、最耗时的两个方面入手:序列化和网络通信。序列化:我... 查看详情

什么是面向服务的体系结构?看完你就懂了

...服务的基础实现。例如,可以在.Net或J2EE中实现服务,而使用该服务的应用程序可以在其他平台或语言上。SOA的好处是其与平台无关的方法以及Web服务之间更好的互操作性。本文是SOA的概述,包括构建Web服务时使用的一些工具和... 查看详情

cdn到底是个什么鬼?看完这篇你就懂了(代码片段)

...么改善互联网服务质量的呢?原理分析我们知道,当我们使用域名访问某一个网站时,实际上就是将请求包(以Http请求为例)通过网络传输给某台服务器,比如访问“www 查看详情

java读取文件内容并且换行符,看完这一篇你就懂了

正文这次写一下springboot与redis的结合,这里使用的是redis集群模式(主从),主从环境的搭建,请参考redis集群搭建搭建完redis集群环境后,开始springboot之旅1、REDIS介绍redis的介绍及应用场景参考redis介绍2、... 查看详情

看懂了这篇,你就懂了函数式接口(代码片段)

...Lambda表达式、方法引用、函数式接口。现在很多公司都在使用lambda表达式进行代码编写,甚至知名的Java的插件也都在Lambda,比如数据库插件Myb 查看详情

上班族适合大自考还是小自考?看完你就懂了

小自考是自考的一种形式,由社会机构与高校合作办学。考试分为统考和校考,统考和大自考一样参加国家统一组织考试,而校考由学校组织,难度较小,只是过程性考试,考生只需配合参加考试!无... 查看详情

nginx学习?nginx可以做什么?看完这篇你就懂了!

https://mp.weixin.qq.com/s/Viv9T1kSTePNI6O2xDzyRg 查看详情

2021百度java岗面试真题收录解析,看完这一篇你就懂了

...xff0c;少之又少。这也造成了很多错误看源码的方式。那要如何正确的分析源码呢?分布式架构随着我们的业务量越来越大和越重要,单体的 查看详情

cdn百科第六讲|怎样用cdn抵御***?看完这篇漫画你就懂了

查看详情