关键词:
功能说明
Sed是Stream Editor(流编辑器)缩写,是操作、过滤和转换文本内容的强大工具。常用功能有增删改查,过滤,取行。
[[email protected] ~]# sed --version #→ sed软件版本
GNU sed version 4.2.1
语法格式
sed [options] [sed-commands] [input-file]
sed [选项] [sed命令] [输入文件]
说明:
1. 注意sed和后面的选项之间至少有一个空格。
2. 为了避免混淆,本文称呼sed为sed软件。sed-commands(sed命令)是sed软件内置的一些命令选项,为了和前面的options(选项)区分,故称为sed命令。
3. sed-commands既可以是单个sed命令,也可以是多个sed命令组合。
4. input-file(输入文件)是可选项,sed还能够从标准输入如管道获取输入。
命令执行流程
概括流程:Sed软件从文件或管道中读取一行,处理一行,输出一行;再读取一行,再处理一行,再输出一行……
模式空间:sed软件内部的一个临时缓存,用于存放读取到的内容。
使用范例
1. 统一实验文本
# 创建包含下面内容的文件,后面的操作都会使用这个文件。
[[email protected] ~]# cat person.txt
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
2. 增删改查
2.1 增
- a 追加文本到指定行后
- i 插入文本到指定行前
2.1.1 单行增加
[[email protected] ~]# sed ‘2a 106,dandan,CSO‘ person.txt
101,oldboy,CEO
102,zhangyao,CTO
106,dandan,CSO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[[email protected] ~]# sed ‘2i 106,dandan,CSO‘ person.txt
101,oldboy,CEO
106,dandan,CSO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
2.1.2 多行增加
[[email protected] ~]# sed ‘2a 106,dandan,CSO 107,bingbing,CCO‘ person.txt
101,oldboy,CEO
102,zhangyao,CTO
106,dandan,CSO #→第1种写法
107,bingbing,CCO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[[email protected] ~]# sed ‘2a 106,dandan,CSO
> 107,bingbing,CCO‘ person.txt
101,oldboy,CEO
102,zhangyao,CTO
106,dandan,CSO #→第2种写法
107,bingbing,CCO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
#→sed命令i的使用方法是一样的,因此不再列出。
企业案例1:优化SSH配置(一键完成增加若干参数)
在我们学习系统优化时,有一个优化点:更改ssh服务远程登录的配置。主要的操作是在ssh的配置文件加入下面5行文本。(下面参数的具体含义见其他课程。)
Port 52113
PermitRootLogin no
PermitEmptyPasswords no
UseDNS no
GSSAPIAuthentication no
我们可以使用vi命令编辑这个文本,但这样就比较麻烦,现在想一条命令增加5行文本到第13行前?
指定执行的地址范围
sed软件可以对单行或多行进行处理。如果在sed命令前面不指定地址范围,那么默认会匹配所有行。
用法:n1[,n2]{sed-commands}
地址用逗号分隔的,n1,n2可以用数字、正则表达式、或二者的组合表示。
例子:
10{sed-commands} 对第10行操作
10,20{sed-commands} 对10到20行操作,包括第10,20行
10,+20{sed-commands} 对10到30(10+20)行操作,包括第10,30行
1~2{sed-commands} 对1,3,5,7,……行操作
10,${sed-commands} 对10到最后一行($代表最后一行)操作,包括第10行
/oldboy/{sed-commands} 对匹配oldboy的行操作
/oldboy/,/Alex/{sed-commands} 对匹配oldboy的行到匹配Alex的行操作
/oldboy/,${sed-commands} 对匹配oldboy的行到最后一行操作
/oldboy/,10{sed-commands} 对匹配oldboy的行到第10行操作,注意:如果前10行没有匹配到oldboy,sed软件会显示10行以后的匹配oldboy的行,如果有。
1,/Alex/{sed-commands} 对第1行到匹配Alex的行操作
/oldboy/,+2{sed-commands} 对匹配oldboy的行到其后的2行操作
2.2 删
d 删除指定的行
[[email protected] ~]# sed ‘d‘ person.txt
[[email protected] ~]#
[[email protected] ~]# sed ‘2d‘ person.txt
101,oldboy,CEO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[[email protected] ~]# sed ‘2,5d‘ person.txt
101,oldboy,CEO
[[email protected] ~]# sed ‘3,$d‘ person.txt
101,oldboy,CEO
102,zhangyao,CTO
[[email protected] ~]# sed ‘1~2d‘ person.txt
102,zhangyao,CTO
104,yy,CFO
[[email protected] ~]# sed ‘1,+2d‘ person.txt
104,yy,CFO
105,feixue,CIO
[[email protected] ~]# sed ‘/zhangyao/d‘ person.txt
101,oldboy,CEO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[[email protected] ~]# sed ‘/oldboy/,/Alex/d‘ person.txt
104,yy,CFO
105,feixue,CIO
[[email protected] ~]# sed ‘/oldboy/,3d‘ person.txt
104,yy,CFO
105,feixue,CIO
企业案例2:打印文件内容但不包含oldboy
[[email protected] ~]# sed ‘/oldboy/d‘ person.txt #→删除包含"oldboy"的行
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
2.3 改
2.3.1 按行替换
c 用新行取代旧行
[[email protected] ~]# sed ‘2c 106,dandan,CSO‘ person.txt
101,oldboy,CEO
106,dandan,CSO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
2.3.2 文本替换
s:单独使用→将每一行中第一处匹配的字符串进行替换 ==>sed命令 g:每一行进行全部替换 ==>sed命令s的替换标志之一,非sed命令 -i:修改文件内容 ==>sed软件的选项
sed软件替换模型(方框▇被替换成三角▲)
sed -i ‘s/▇/▲/g‘ oldboy.log
sed -i ‘s#▇#▲#g‘ oldboy.log
观察特点
- 两边是引号,引号里面的两边分别为
s
和g
,中间是三个一样的字符/
或#
作为定界符。#
能在替换内容包含/
有助于区别。定界符可以是任意符号如:
或|
等,但当替换内容包含定界符时,需转义即:
|
。经过长期实践,建议大家使用#
作为定界符。 - 定界符
/
或#
,第一个和第二个之间的就是被替换的内容,第二个和第三个之间的就是替换后的内容。 s#▇#▲#g
,▇能用正则表达式,但▲不能用,必须是具体的。- 默认sed软件是对模式空间(内存中的数据)操作,而-i选项会更改磁盘上的文件内容。
[[email protected] ~]# sed ‘s#zhangyao#oldboyedu#g‘ person.txt
101,oldboy,CEO
102,oldboyedu,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[[email protected] ~]# cat person.txt
101,oldboy,CEO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[[email protected] ~]# sed -i ‘s#zhangyao#BBB#g‘ person.txt
[[email protected] ~]# cat person.txt
101,oldboy,CEO
102,BBB,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[[email protected] ~]# sed -i ‘s#oldboyedu#zhangyao#g‘ person.txt #→还原测试文件
企业案例3:指定行修改配置文件
指定行精确修改配置文件,这样可以防止修改多了地方。
[[email protected] ~]# sed ‘3s#0#9#‘ person.txt
101,oldboy,CEO
102,zhangyao,CTO
193,Alex,COO
104,yy,CFO
105,feixue,CIO
2.3.3 变量替换
[[email protected] ~]# cat test.txt #→再新建一个文本
a
b
a
[[email protected] ~]# x=a
[[email protected] ~]# y=b
[[email protected] ~]# echo $x $y
a b
[[email protected] ~]# sed s#$x#$y#g test.txt
b
b
b
[[email protected] ~]# sed ‘s#$x#$y#g‘ test.txt
a
b
a
[[email protected] ~]# sed ‘s#‘$x‘#‘$y‘#g‘ test.txt
b
b
b
[[email protected] ~]# sed "s#$x#$y#g" test.txt
b
b
b
[[email protected] ~]# eval sed ‘s#$x#$y#g‘ test.txt
b
b
b
2.3.4 分组替换( )
和1
的使用说明
sed软件的( )
的功能可以记住正则表达式的一部分,其中,1
为第一个记住的模式即第一个小括号中的匹配内容,2
第二记住的模式,即第二个小括号中的匹配内容,sed最多可以记住9个。
例:echo I am oldboy teacher.
如果想保留这一行的单词oldboy,删除剩下的部分,使用圆括号标记想保留的部分。
[[email protected] ~]# echo I am oldboy teacher. |sed ‘s#^.*am ([a-z].*) tea.*$#1#g‘
oldboy
[[email protected] ~]# echo I am oldboy teacher. |sed -r ‘s#^.*am ([a-z].*) tea.*$#1#g‘
oldboy
[[email protected] ~]# echo I am oldboy teacher. |sed -r ‘s#I (.*) (.*) teacher.#12#g‘
amoldboy
命令说明
思路:用oldboy
字符替换I am oldboy teacher.
下面解释用□
代替空格
^.*am□
–>这句的意思是以任意字符开头到am□
为止,匹配文件中的I am□
字符串;([a-z].*)□
–>这句的外壳就是括号()
,里面的[a-z]
表示匹配26个字母的任何一个,[a-z].*
合起来就是匹配任意多个字符,本题来说就是匹配oldboy
字符串,由于oldboy
字符串是需要保留的,因此用括号括起来匹配,后面通过1
来取oldboy
字符串。□tea.*$
–>表示以空格tea
起始,任意字符结尾,实际就是匹配oldboy
字符串后,紧接着的字符串□teacher.
;- 后面被替换的内容中的
1
就是取前面的括号里的内容了,也就是我们要的oldboy
字符串。 ()
是扩展正则表达式的元字符,sed软件默认识别基本正则表达式,想要使用扩展正则需要使用转义,即
()
。sed使用-r
选项则可以识别扩展正则表达式,此时使用()
反而会出错。
企业案例4:系统开机启动项优化
[[email protected] ~]# chkconfig --list|grep "3:on"|grep -vE "sshd|crond|network|rsyslog|sysstat"|awk ‘{print $1}‘|sed -r ‘s#^(.*)#chkconfig 1 off#g‘|bash
[[email protected] ~]# chkconfig --list|grep "3:on"
crond 0:off 1:off 2:on 3:on 4:on 5:on 6:off
network 0:off 1:off 2:on 3:on 4:on 5:on 6:off
rsyslog 0:off 1:off 2:on 3:on 4:on 5:on 6:off
sshd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
sysstat 0:off 1:on 2:on 3:on 4:on 5:on 6:off
2.3.5 特殊符号&
代表被替换的内容
[[email protected] ~]# sed ‘1,3s#C#--&--#g‘ person.txt #→此处&等于C
101,oldboy,--C--EO #→将1到3行的C替换为--C--
102,zhangyao,--C--TO
103,yy,--C--OO
104,feixue,CFO
105,dandan,CIO
企业案例5:批量重命名文件
当前目录下有文件如下所示:
[[email protected] test]# ls
stu_102999_1_finished.jpg stu_102999_2_finished.jpg stu_102999_3_finished.jpg stu_102999_4_finished.jpg stu_102999_5_finished.jpg
要求用sed命令重命名,效果为stu_102999_1_finished.jpg==>stu_102999_1.jpg
,即删除文件名的_finished
2.4 查
p 输出指定内容,但默认会输出2次匹配的结果,因此使用n取消默认输出
2.4.1 按行查询
[[email protected] ~]# sed ‘2p‘ person.txt
101,oldboy,CEO
102,zhangyao,CTO
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO
[[email protected] ~]# sed -n ‘2p‘ person.txt
102,zhangyao,CTO
[[email protected] ~]# sed -n ‘2,3p‘ person.txt
102,zhangyao,CTO
103,Alex,COO
说明:取行就用sed,最简单
[[email protected] ~]# sed -n ‘1~2p‘ person.txt
101,oldboy,CEO
103,Alex,COO
105,feixue,CIO
[[email protected] ~]# sed -n ‘p‘ person.txt
101,oldboy,CEO
102,zhangyao,CTO
103,yy,COO
104,feixue,CFO
105,dandan,CIO
2.4.2 按字符串查询
[[email protected] ~]# sed -n ‘/CTO/p‘ person.txt
102,zhangyao,CTO
[[email protected] ~]# sed -n ‘/CTO/,/CFO/p‘ person.txt
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
2.4.3 混合查询
[[email protected] ~]# sed -n ‘2,/CFO/p‘ person.txt
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
[[email protected] ~]# sed -n ‘/feixue/,2p‘ person.txt
105,feixue,CIO
#→特殊情况,前两行没有匹配到feixue,就向后匹配,如果匹配到feixue就打印此行。
转发自http://blog.oldboyedu.com/commands-sed/
运维人员日常工作(转自老男孩)
1)运维人员要谨记的6个字:运维人员做事需遵循:简单、易用、高效(2)运维人员服务的3大宗旨:1、企业数据安全保障。2、7*24小时业务持续提供服务。3、不断提升用户感受、体验。(3)初中级运维的日常涉及工作: 1、... 查看详情
老男孩教育每日一题-第64天-sed命令闯关
如下文件内容,cat /tmp/passwdroot:x:0: 0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/s 查看详情
老男孩学习笔记-常用命令
650)this.width=650;"src="https://s2.51cto.com/wyfs02/M01/8D/A3/wKiom1ikSk3ACqwwAAWKMFn6unM615.png-wh_500x0-wm_3-wmp_4-s_2186402890.png"style="float:none;"title="6.PNG"alt="wKiom1ikSk3ACqwwAAWKMFn6unM6 查看详情
老男孩教育每日一题-2017年3月29日-使用ifconfig取出网卡eth0的ip地址-看看你有多少方法
方法1:sed命令[[email protected] ~]# ifconfig eth0 |sed -n ‘2p‘ |sed‘s#^.*addr:##g‘|sed ‘s# B.*$##g‘10.0.0.50方法2:cut[[email protected] ~]#& 查看详情
老男孩教育每日一题-2017年5月18日-说说|(管道)与|xargs(管道xargs)的区别
1.题目老男孩教育每日一题-2017年5月18日-说说|(管道)与|xargs(管道xargs)的区别2.参考答案find |xargsls-ld##把前一个命令的结果,通过管道传递给后面的命令(ls-ld),传递的是文件名find |命令 ##把前一个命令的结果,通... 查看详情
老男孩教育每日一题-2017-05-15-说说你在vi/vim中常用的命令或快捷键
1.题目老男孩教育每日一题-2017-05-15-说说你在vi/vim中常用的命令或快捷键2.参考答案01:学会在vim中查询帮助:help 或:h即可:help G:help :wq02.vi/vim使用最基本方法第一个里程碑-使用vi打开oldboy.txtvi/data/oldboy.txt默认是命令模... 查看详情
老男孩教育每日一题-第100天-常用的磁盘raid有哪些?描述下原理和区别?
RAID级别关键优点关键缺点实际应用场景RAID0读写速度很快没有任何冗余MySQLSlave(数据库的从库,小弟),集群的节点RSRAID1100%冗余,镜像读写性能一般,成本高单独的,数据重要,且不能宕机的业务,监控,系统盘RAID5具备一定性... 查看详情
linux文件处理--sed编辑器常用介绍及案例(代码片段)
...器1.sed编辑器:2.流程3.具体使用3.1命令格式:3.1常用选项(-e、f、h、-n、-i):-n-i指令,直接在原文件上覆盖(慎用!!)3.2常用操作3.3使用地址来打印1、以数字形式表示行区间2、用文本... 查看详情
老男孩
老男孩就业经验: 查看详情
老男孩
http://oldboy.blog.51cto.com 查看详情
老男孩教育每日一题-2017年5月4日-有一个oldboy.txt文件,把里面所有字母都转换成大写
老男孩教育每日一题-2017年5月4日-有一个oldboy.txt文件,把里面所有字母都转换成大写文件内容如下:[[email protected] oldboy]# cat oldboy.txt oldboy.blog.51cto.comwww.oldboyedu.com方法一:sed[[email protected] ol 查看详情
老男孩教育每日一题-2017年5月16日-说说{}与[]这两个符号有什么区别?
...还不少。我们一起来看看。2.1通配符中通配符在linux中通常用来匹配/找文件名或目录名。最常用的就是ls-l*.txt显示出所有以.txt结尾的文件。2.1.1 {}花括号,大括号,生产序列[[email protected] regula 查看详情
最新老男孩pyhon精品课程
最新老男孩pyhon精品课程,官网地址:wwww.oldboyedu.com链接:http://pan.baidu.com/s/1kVslx3p密码:xkk9老男孩IT教育Python开发精品课程本文出自“自动化运维”博客,请务必保留此出处http://pythonedu.blog.51cto.com/12741743/1923735 查看详情
老男孩day11
---恢复内容开始---今天是在老男孩学习的第11天,主要讲解函数的进阶知识,大致内容整理如下:time模块 importtime引用模块time.sleepimporttimetime.sleep(5)print(‘>>>‘)该函数下的代码延迟5秒后执行 time.time()importtimeprint(tim... 查看详情
初学者如何学习运维?
...原理相对更难,造成学习困扰。老男孩的建议:以下内容转自学生的作业总结(略改动):对 查看详情
awk
老男孩linux培训第三节课程课前第考试三题,问题如下: 注:摘自老男孩老师博客3.请执行命令取出linux中eth0的IP地址(请用cut,有能力者也可分别用awk,sed命令答)。解答:说明:此题解答方法已经给大家讲解了不下15种,还可... 查看详情
老男孩day9
今天是在老男孩学习的第9天,大致内容整理如下:昨日总结及补充: 读: read() 一次性读 readline() 一行一行读,本身无结束 readlines() 一次性读完后生成列表 写: ... 查看详情
老男孩day16
今天是在老男孩学习的第16天,主要补充了昨日的知识,大致内容整理如下:python的数据结构:dict,list,tuple等等。。。python的数据类型:int,bool等。。reverse() 反转reversed() 反转但是会生成一个新列表,原列表不... 查看详情