关键词:
什么是文件归档?
文件归档就是将一组拥有相同属性的文件或目录组合到一个文件中,并从新存储它们到一个专门的目录中,以便以后在需要时进行查阅。比方说,很多情况下,我们的系统日志是有轮询的,旧的日志,会在一定的时间内会被自动删除,我们需要经常对日志进行归档,以保存旧的日志,以便我们在需要时进行查阅。
使用 tar 命令归档文件或目录
tar 可以将多个文件打包成一个文件,以便在网络上传输和归档,当你需要时,可以将他们提取出来。该归档文件还可以使用 gzip、bzip2 和 xz 压缩方式进行文件压缩。
使用 tar 命令对 /var/log/ 文件里面的 log 进行归档,其中 c 选项表示创建一个归档文件,f 选项用于指定归档文件的名称;
[root@websvr ~]# tar -cf log.tar /var/log/
tar: Removing leading `/' from member names
[root@websvr ~]# ls
log.tar
[root@websvr ~]#
* 在执行归档时,如果归档的目录包含根目录 ” / ” ,则在归档的时候,会自定删除根目录,这样做的目的就是防止在提取文件时发生误操作,覆盖原文件,确保提取文件时,始终会是在当前目录。
如果你想在归档过程中显示归档的细节,归档了哪些文件,你可以通过添加 v 选项,来实现这一目的;
[root@websvr ~]# tar -cvf log1.tar /var/log/
tar: Removing leading `/' from member names
/var/log/
/var/log/lastlog
/var/log/private/
/var/log/wtmp
/var/log/samba/
/var/log/samba/old/
/var/log/audit/
/var/log/audit/audit.log.4
/var/log/audit/audit.log.3
/var/log/audit/audit.log.2
/var/log/audit/audit.log.1
/var/log/audit/audit.log
/var/log/spooler-20201101
/var/log/sssd/
/var/log/sssd/sssd_implicit_files.log-20200705.gz
/var/log/sssd/sssd_nss.log-20200705.gz
/var/log/sssd/sssd_implicit_files.log-20200712
... output omitted ...
如果你想查看归档文件中的具体内容,你可以使用 t 选项来查看 log.tar 文件中的内容;
[root@websvr ~]# tar -tf log.tar
var/log/
var/log/lastlog
var/log/private/
var/log/wtmp
var/log/samba/
var/log/samba/old/
var/log/audit/
var/log/audit/audit.log.4
var/log/audit/audit.log.3
var/log/audit/audit.log.2
var/log/audit/audit.log.1
var/log/audit/audit.log
var/log/spooler-20201101
var/log/sssd/
var/log/sssd/sssd_implicit_files.log-20200705.gz
var/log/sssd/sssd_nss.log-20200705.gz
var/log/sssd/sssd_implicit_files.log-20200712
... output omitted ...
当需要时,我们可以使用 x 选项来提取 log.tar 中的文件
[root@websvr ~]# mkdir log
[root@websvr ~]# cd log/
[root@websvr log]# tar -xf ~/log.tar
[root@websvr log]# ls
var
[root@websvr log]# ls var/
log
[root@websvr log]# ls var/log/
anaconda cron dnf.log.2 httpd messages-20201018 spooler
audit cron-20201011 dnf.log.3 insights-client messages-20201025 spooler-20201011
boot.log cron-20201018 dnf.log.4 journal messages-20201101 spooler-20201018
boot.log-20200622 cron-20201025 dnf.rpm.log lastlog php-fpm spooler-20201025
boot.log-20200629 cron-20201101 ecs_network_optimization.log maillog private spooler-20201101
boot.log-20200706 dnf.librepo.log exim maillog-20201011 sa sssd
btmp dnf.librepo.log-20201011 grafana maillog-20201018 samba tuned
btmp-20201101 dnf.librepo.log-20201018 hawkey.log maillog-20201025 secure wtmp
chrony dnf.librepo.log-20201025 hawkey.log-20201011 maillog-20201101 secure-20201011 zabbix
cloudinit-deploy.log dnf.librepo.log-20201101 hawkey.log-20201018 mariadb secure-20201018
cloud-init.log dnf.log hawkey.log-20201025 messages secure-20201025
cloud-init-output.log dnf.log.1 hawkey.log-20201101 messages-20201011 secure-20201101
压缩存档文件
当我们要归档的文件比较大时,或者我们想在网络上传输我们的归档文件,这个时候,我们需要在归档文件的时候,对文件进行一个压缩,从而减少对带宽的要求。
tar 支持三种压缩方式:
- gzip 压缩速度最快,使用最广泛,但压缩率相对较低
-
bzip2 压缩文件通常会比 gzip 要小,但使用没有 gzip广泛
-
xz 相对比较新,但压缩率是三个中最高的
创建压缩文件选项:
- 通过 -z 选项创建 gzip 方式的压缩文件(*.tar.gz 或 *.tgz)
-
通过 -j 选项创建 bzip 方式的压缩文件(*.tar.bz2)
-
使用 -J 选项创建 xz 方式的压缩文件(*.tar.xz)
创建 gzip 格式的压缩存档
[root@websvr ~]# tar -czf log.tar.gz /var/log/
tar: Removing leading `/' from member names
[root@websvr ~]# ls -lh log*
-rw-r--r-- 1 root root 760M Nov 6 08:16 log.tar
-rw-r--r-- 1 root root 97M Nov 6 08:15 log.tar.gz
- 通过比较发现压缩后的文件,比之前的小
资源使用率
top - 16:54:46 up 16:18, 2 users, load average: 0.80, 0.59, 0.30
Tasks: 120 total, 2 running, 118 sleeping, 0 stopped, 0 zombie
%Cpu(s): 35.3 us, 11.0 sy, 0.0 ni, 43.1 id, 0.0 wa, 0.0 hi, 0.1 si, 10.4 st
MiB Mem : 1829.0 total, 80.7 free, 179.5 used, 1568.8 buff/cache
MiB Swap: 0.0 total, 0.0 free, 0.0 used. 1486.0 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1952 student 20 0 4604 1396 1108 S 83.6 0.1 0:11.27 gzip
1951 student 20 0 247172 2884 2680 R 17.7 0.2 0:02.37 tar
39 root 20 0 0 0 0 S 2.7 0.0 0:04.20 kswapd0
1755 root 20 0 0 0 0 I 0.1 0.0 0:00.22 kworker/0:0-events
压缩文件所需的时间(30 个文件,每个文件 100M)
[root@websvr ~]# time tar -czf test.tar2.gz test_file*
real 0m29.983s
user 0m23.198s
sys 0m7.041s
创建 bzip2 格式的压缩存档
[root@websvr ~]# tar -cjf log.tar.bz2 /var/log/
tar: Removing leading `/' from member names
[root@websvr ~]# ls -lh log*
-rw-r--r-- 1 root root 760M Nov 6 08:16 log.tar
-rw-r--r-- 1 root root 81M Nov 6 08:21 log.tar.bz2
-rw-r--r-- 1 root root 97M Nov 6 08:15 log.tar.gz
- 压缩率虽然比 gzip 的高,但高的不是很多
资源使用率
top - 16:52:56 up 16:16, 2 users, load average: 0.44, 0.46, 0.22
Tasks: 120 total, 4 running, 116 sleeping, 0 stopped, 0 zombie
%Cpu(s): 43.7 us, 7.2 sy, 0.0 ni, 43.8 id, 0.1 wa, 0.0 hi, 0.0 si, 5.2 st
MiB Mem : 1829.0 total, 71.2 free, 186.4 used, 1571.4 buff/cache
MiB Swap: 0.0 total, 0.0 free, 0.0 used. 1479.0 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1949 student 20 0 13784 8592 1228 R 93.0 0.5 0:13.67 bzip2
1948 student 20 0 247172 2732 2528 R 9.9 0.1 0:01.54 tar
39 root 20 0 0 0 0 S 1.1 0.0 0:03.22 kswapd0
448 root 20 0 0 0 0 S 0.1 0.0 0:01.60 xfsaild/vda1
1950 root 20 0 0 0 0 I 0.1 0.0 0:00.01 kworker/1:2-mm_percp+
压缩文件所需的时间(30 个文件,每个文件 100M)
[root@websvr ~]# time tar -cjf test.tar3.bz2 test_file*
real 1m10.511s
user 1m1.819s
sys 0m10.762s
创建 xz 格式的压缩存档
[root@websvr ~]# tar -cJf log.tar.xz /var/log/
tar: Removing leading `/' from member names
[root@websvr ~]# ls -lh log*
-rw-r--r-- 1 root root 760M Nov 6 08:16 log.tar
-rw-r--r-- 1 root root 81M Nov 6 08:21 log.tar.bz2
-rw-r--r-- 1 root root 97M Nov 6 08:15 log.tar.gz
-rw-r--r-- 1 root root 50M Nov 6 08:29 log.tar.xz
- 通过比较,xz 格式的压缩比最高,但压缩的时间也是最长的
资源的使用率
top - 16:51:36 up 16:15, 2 users, load average: 0.94, 0.53, 0.22
Tasks: 120 total, 4 running, 116 sleeping, 0 stopped, 0 zombie
%Cpu(s): 45.2 us, 5.4 sy, 0.0 ni, 44.0 id, 0.0 wa, 0.0 hi, 0.0 si, 5.4 st
MiB Mem : 1829.0 total, 62.9 free, 259.0 used, 1507.1 buff/cache
MiB Swap: 0.0 total, 0.0 free, 0.0 used. 1406.3 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1946 student 20 0 316704 81244 2200 R 97.5 4.3 1:39.23 xz
1945 student 20 0 247172 2828 2620 R 9.3 0.2 0:09.75 tar
39 root 20 0 0 0 0 S 0.8 0.0 0:02.98 kswapd0
30 root 39 19 0 0 0 S 0.5 0.0 0:00.57 khugepaged
1942 root 20 0 0 0 0 R 0.1 0.0 0:00.31 kworker/1:0-events
压缩文件所需的时间(30 个文件,每个文件 100M)
[root@websvr ~]# time tar -cJf test.tar3.xz test_file*
real 1m49.429s
user 1m40.588s
sys 0m16.924s
总结
对于归档文件的压缩,压缩率最高的是 xz 格式的,但它也是用时最多,消耗资源最多的;时间最快的是 gzip 并且它也是消耗资源最少的,但是它的压缩率不是没有另外两个高; bzip2 不管是时间和资源的消耗,还是压缩率,在这三个都是居中,不过,对于时间,它相比 xz 少的不是很多,压缩率,相比 gzip 也不是很高,所有适用的场景不是很多。
mysql7种join理论,看完你就懂了(代码片段)
select*fromtbl_empainnerjointbl_deptbona.deptId=b.id;select*fromtbl_empaLEFTJOINtbl_deptbona.deptId=b.id;select*fromtbl_empaRIGHTJOINtbl_deptbona.deptId=b.id;select*fromtbl_empaLEFTJOINtbl 查看详情
synchronized如何实现两个线程交替运行?看完你就懂了,列害dei(代码片段)
背景用两个线程交替输出A-Z和1-26,即一个线程输出A-Z,另一个线程输出1-26而且是交替形式线程1输出A——线程二输出1线程1输出B——线程二输出2线程1输出C——线程二输出3以此类推分析主要考察线程之间的通信,思路就是创建... 查看详情
用arraylist还是linkedlist?看完你就懂了!(代码片段)
本文旨在为Java开发这择合适的顺序数据结构提供指导。ArrayList和LinkedList是Java集合框架中用来存储对象引用列表的两个类。ArrayList和LinkedList都实现List接口。首先,让我们了解一下它们最重要的父接口——List。1.List接口列表(lis... 查看详情
用arraylist还是linkedlist?看完你就懂了!(代码片段)
本文旨在为Java开发这择合适的顺序数据结构提供指导。ArrayList和LinkedList是Java集合框架中用来存储对象引用列表的两个类。ArrayList和LinkedList都实现List接口。首先,让我们了解一下它们最重要的父接口——List。1.List接口列表&... 查看详情
java多线程提交,如何按照时间顺序获取线程结果,看完你就懂了|java工具类(代码片段)
目录前言Maven依赖代码总结前言在工作中是否存在这样的场景,多个线程提交执行,你不想全部线程执行结束了获取结果,而是有线程完成返回结果就获取消费。本文提供该场景的工具类,可以直接用哦。Maven依赖... 查看详情
oracle数据库为什么提示用户密码重置?看完你就懂了(代码片段)
作者简介作者:LuciferLiu,中国DBA联盟(ACDU)成员。目前主要从事OracleDBA工作,曾从事Oracle数据库开发工作,主要服务于生产制造,汽车金融等行业。现拥有OracleOCP,OceanBaseOBCA认证,擅长Oracle数据库运维... 查看详情
oracle数据库为什么提示用户密码重置?看完你就懂了(代码片段)
作者简介作者:LuciferLiu,中国DBA联盟(ACDU)成员。目前主要从事OracleDBA工作,曾从事Oracle数据库开发工作,主要服务于生产制造,汽车金融等行业。现拥有OracleOCP,OceanBaseOBCA认证,擅长Oracle数据库运维... 查看详情
深度分析!面试99%被问到的多线程和并发篇,看完你就懂了
...也就是使用了ExecutorService来管理前面的三种方式)。2、如何停止一个正在运行的线程1、使用退出标志,使线程正常退出,也就是当run方法完成 查看详情
mysql7种join理论,看完你就懂了
select*fromtbl_empainnerjointbl_deptbona.deptId=b.id;select*fromtbl_empaLEFTJOINtbl_deptbona.deptId=b.id;select*fromtbl_empaRIGHTJOINtbl_deptbona.deptId=b.id;select*fromtbl_empaLEFTJOINtbl 查看详情
知道dubbo性能为什么这么强?看完你就懂了!
前言为什么Dubbo说自己性能高?高性能要从底层的原理说起,既然是一个RPC框架,主要干的就是远程过程(方法)调用,那么提升性能就要从最关键、最耗时的两个方面入手:序列化和网络通信。序列化:我... 查看详情
什么是面向服务的体系结构?看完你就懂了
...服务的基础实现。例如,可以在.Net或J2EE中实现服务,而使用该服务的应用程序可以在其他平台或语言上。SOA的好处是其与平台无关的方法以及Web服务之间更好的互操作性。本文是SOA的概述,包括构建Web服务时使用的一些工具和... 查看详情
cdn到底是个什么鬼?看完这篇你就懂了(代码片段)
...么改善互联网服务质量的呢?原理分析我们知道,当我们使用域名访问某一个网站时,实际上就是将请求包(以Http请求为例)通过网络传输给某台服务器,比如访问“www 查看详情
java读取文件内容并且换行符,看完这一篇你就懂了
正文这次写一下springboot与redis的结合,这里使用的是redis集群模式(主从),主从环境的搭建,请参考redis集群搭建搭建完redis集群环境后,开始springboot之旅1、REDIS介绍redis的介绍及应用场景参考redis介绍2、... 查看详情
看懂了这篇,你就懂了函数式接口(代码片段)
...Lambda表达式、方法引用、函数式接口。现在很多公司都在使用lambda表达式进行代码编写,甚至知名的Java的插件也都在Lambda,比如数据库插件Myb 查看详情
上班族适合大自考还是小自考?看完你就懂了
小自考是自考的一种形式,由社会机构与高校合作办学。考试分为统考和校考,统考和大自考一样参加国家统一组织考试,而校考由学校组织,难度较小,只是过程性考试,考生只需配合参加考试!无... 查看详情
nginx学习?nginx可以做什么?看完这篇你就懂了!
https://mp.weixin.qq.com/s/Viv9T1kSTePNI6O2xDzyRg 查看详情
2021百度java岗面试真题收录解析,看完这一篇你就懂了
...xff0c;少之又少。这也造成了很多错误看源码的方式。那要如何正确的分析源码呢?分布式架构随着我们的业务量越来越大和越重要,单体的 查看详情