运维自动化(代码片段)

alexzhang92 alexzhang92     2022-12-20     473

关键词:

运维第一工具-shell编程

shell历史

Shell的作用是解释执行用户的命令,用户输入一条命令,Shell就解释执行一条,这种方式称为交互式(Interactive),Shell还有一种执行命令的方式称为批处理(Batch),用户事先写一个Shell脚本(Script),其中有很多条命令,让Shell一次把这些命令执行完,而不必一条一条地敲命令。Shell脚本和编程语言很相似,也有变量和流程控制语句,但Shell脚本是解释执行的,不需要编译,Shell程序从脚本中一行一行读取并执行这些命令,相当于一个用户把脚本中的命令一行一行敲到Shell提示符下执行。

由于历史原因,UNIX系统上有很多种Shell:

1.sh(Bourne Shell):由Steve Bourne开发,各种UNIX系统都配有sh。

2.csh(C Shell):由Bill Joy开发,随BSD UNIX发布,它的流程控制语句很像C语言,支持很多Bourne Shell所不支持的功能:作业控制,命令历史,命令行编辑。

3.ksh(Korn Shell):由David Korn开发,向后兼容sh的功能,并且添加了csh引入的新功能,是目前很多UNIX系统标准配置的Shell,在这些系统上/bin/sh往往是指向/bin/ksh的符号链接。

4.tcsh(TENEX C Shell):是csh的增强版本,引入了命令补全等功能,在FreeBSD、Mac OS X等系统上替代了csh。

5.bash(Bourne Again Shell):由GNU开发的Shell,主要目标是与POSIX标准保持一致,同时兼顾对sh的兼容,bash从csh和ksh借鉴了很多功能,是各种Linux发行版标准配置的Shell,在Linux系统上/bin/sh往往是指向/bin/bash的符号链接。虽然如此,bash和sh还是有很多不同的,一方面,bash扩展了一些命令和参数,另一方面,bash并不完全和sh兼容,有些行为并不一致,所以bash需要模拟sh的行为:当我们通过sh这个程序名启动bash时,bash可以假装自己是sh,不认扩展的命令,并且行为与sh保持一致。

6.zsh 的命令补全功能非常强大,可以补齐路径,补齐命令,补齐参数等。

vim /etc/passwd
其中最后一列显示了用户对应的shell类型
root:x:0:0:root:/root:/bin/bash
nobody:x:65534:65534:nobody:/nonexistent:/bin/sh
syslog:x:101:103::/home/syslog:/bin/false
itcast:x:1000:1000:itcast,,,:/home/itcast:/bin/bash
ftp:x:115:125:ftp daemon,,,:/srv/ftp:/bin/false

 

用户在命令行输入命令后,一般情况下Shell会fork并exec该命令,但是Shell的内建命令例外,执行内建命令相当于调用Shell进程中的一个函数,并不创建新的进程。以前学过的cd、alias、umask、exit等命令即是内建命令,凡是用which命令查不到程序文件所在位置的命令都是内建命令,内建命令没有单独的man手册,要在man手册中查看内建命令,应该

$ man bash-builtins

 

如export、shift、if、eval、[、for、while等等。内建命令虽然不创建新的进程,但也会有Exit Status,通常也用0表示成功非零表示失败,虽然内建命令不创建新的进程,但执行结束后也会有一个状态码,也可以用特殊变量$?读出。

执行脚本

编写一个简单的脚本test.sh:

#! /bin/sh
cd ..
ls

 

Shell脚本中用#表示注释,相当于C语言的//注释。但如果#位于第一行开头,并且是#!(称为Shebang)则例外,它表示该脚本使用后面指定的解释器/bin/sh解释执行。如果把这个脚本文件加上可执行权限然后执行:

chmod a+x test.sh
./test.sh

 

Shell会fork一个子进程并调用exec执行./test.sh这个程序,exec系统调用应该把子进程的代码段替换成./test.sh程序的代码段,并从它的_start开始执行。然而test.sh是个文本文件,根本没有代码段和_start函数,怎么办呢?其实exec还有另外一种机制,如果要执行的是一个文本文件,并且第一行用Shebang指定了解释器,则用解释器程序的代码段替换当前进程,并且从解释器的_start开始执行,而这个文本文件被当作命令行参数传给解释器。因此,执行上述脚本相当于执行程序

$ /bin/sh ./test.sh

 

以这种方式执行不需要test.sh文件具有可执行权限。

如果将命令行下输入的命令用()括号括起来,那么也会fork出一个子Shell执行小括号中的命令,一行中可以输入由分号;隔开的多个命令,比如:

$ (cd ..;ls -l)

 

和上面两种方法执行Shell脚本的效果是相同的,cd ..命令改变的是子Shell的PWD,而不会影响到交互式Shell。然而命令

$ cd ..;ls -l

 

则有不同的效果,cd ..命令是直接在交互式Shell下执行的,改变交互式Shell的PWD,然而这种方式相当于这样执行Shell脚本:

$ source ./test.sh

 

或者

$ . ./test.sh

 

source或者.命令是Shell的内建命令,这种方式也不会创建子Shell,而是直接在交互式Shell下逐行执行脚本中的命令。

基本语法

变量

按照惯例,Shell变量由全大写字母加下划线组成,有两种类型的Shell变量:

1.环境变量

环境变量可以从父进程传给子进程,因此Shell进程的环境变量可以从当前Shell进程传给fork出来的子进程。用printenv命令可以显示当前Shell进程的环境变量。

2.本地变量

只存在于当前Shell进程,用set命令可以显示当前Shell进程中定义的所有变量(包括本地变量和环境变量)和函数。

环境变量是任何进程都有的概念,而本地变量是Shell特有的概念。在Shell中,环境变量和本地变量的定义和用法相似。在Shell中定义或赋值一个变量:

itcast$ VARNAME=value

 

注意等号两边都不能有空格,否则会被Shell解释成命令和命令行参数。

一个变量定义后仅存在于当前Shell进程,它是本地变量,用export命令可以把本地变量导出为环境变量,定义和导出环境变量通常可以一步完成:

itcast$ export VARNAME=value

 

也可以分两步完成:

itcast$ VARNAME=value
itcast$ export VARNAME

 

用unset命令可以删除已定义的环境变量或本地变量。

itcast$ unset VARNAME

 

如果一个变量叫做VARNAME,用$VARNAME可以表示它的值,在不引起歧义的情况下也可以用$VARNAME表示它的值。通过以下例子比较这两种表示法的不同:

itcast$ echo $SHELL

 

注意,在定义变量时不用$,取变量值时要用$。和C语言不同的是,Shell变量不需要明确定义类型,事实上Shell变量的值都是字符串,比如我们定义VAR=45,其实VAR的值是字符串45而非整数。Shell变量不需要先定义后使用,如果对一个没有定义的变量取值,则值为空字符串。

文件名代换(Globbing):* ? []

这些用于匹配的字符称为通配符(Wildcard),具体如下:

通配符

*   匹配0个或多个任意字符
?   匹配一个任意字符
[若干字符]  匹配方括号中任意一个字符的一次出现
$ ls /dev/ttyS*
$ ls ch0?.doc
$ ls ch0[0-2].doc
$ ls ch[012]   [0-9].doc

 

注意,Globbing所匹配的文件名是由Shell展开的,也就是说在参数还没传给程序之前已经展开了,比如上述ls ch0[012].doc命令,如果当前目录下有ch00.doc和ch02.doc,则传给ls命令的参数实际上是这两个文件名,而不是一个匹配字符串。

命令代换:`或 $()

由‘`‘反引号括起来的也是一条命令,Shell先执行该命令,然后将输出结果立刻代换到当前命令行中。例如定义一个变量存放date命令的输出:

itcast$ DATE=`date`
itcast$ echo $DATE

 

命令代换也可以用$()表示:

itcast$ DATE=$(date)

 

算术代换:$(())

用于算术计算,$(())中的Shell变量取值将转换成整数,同样含义的$[]等价例如:

itcast$ VAR=45
itcast$ echo $(($VAR+3))
$(())中只能用+-*/和()运算符,并且只能做整数运算。

$[base#n],其中base表示进制,n按照base进制解释,后面再有运算数,按十进制解释。

echo $[2#10+11]
echo $[8#10+11]
echo $[10#10+11]

 

转义字符

和C语言类似,在Shell中被用作转义字符,用于去除紧跟其后的单个字符的特殊意义(回车除外),换句话说,紧跟其后的字符取字面值。例如:

itcast$ echo $SHELL
/bin/bash
itcast$ echo $SHELL
$SHELL
itcast$ echo \

 

比如创建一个文件名为“$ $”的文件可以这样:

itcast$ touch $ $

 

还有一个字符虽然不具有特殊含义,但是要用它做文件名也很麻烦,就是-号。如果要创建一个文件名以-号开头的文件,这样是不行的:

itcast$ touch -hello
touch: invalid option -- h
Try `touch --help for more information.
即使加上转义也还是报错:
itcast$ touch -hello
touch: invalid option -- h
Try `touch --help for more information.

 

因为各种UNIX命令都把-号开头的命令行参数当作命令的选项,而不会当作文件名。如果非要处理以-号开头的文件名,可以有两种办法:

itcast$ touch ./-hello

 

或者

itcast$ touch -- -hello

 

还有一种用法,在后敲回车表示续行,Shell并不会立刻执行命令,而是把光标移到下一行,给出一个续行提示符>,等待用户继续输入,最后把所有的续行接到一起当作一个命令执行。例如:

itcast$ ls > -l
(ls -l命令的输出)

 

单引号

和C语言不一样,Shell脚本中的单引号和双引号一样都是字符串的界定符(双引号下一节介绍),而不是字符的界定符。单引号用于保持引号内所有字符的字面值,即使引号内的和回车也不例外,但是字符串中不能出现单引号。如果引号没有配对就输入回车,Shell会给出续行提示符,要求用户把引号配上对。例如:

itcast$ echo $SHELL
$SHELL
itcast$ echo ABC(回车)
> DE(再按一次回车结束命令)
ABCDE

 

双引号

被双引号用括住的内容,将被视为单一字串。它防止通配符扩展,但允许变量扩展。这点与单引号的处理方式不同

itcast$ DATE=$(date)
itcast$ echo "$DATE"
itcast$ echo $DATE

 

[转帖]运维自动化(代码片段)

....cnblogs.com/wangxiaoqiangs/p/5685239.html简介:当下有许多的运维自动化工具(配置管理),例如:Ansible、SaltStack、Puppet、Fabric等。Ansible一种集成IT系统的配置管理、应用部署、执行特定任务的开源平台,是AnsibleWorks公司名下的项目,该公... 查看详情

linux学习总结(七十三)自动化运维之saltstack(代码片段)

1认识自动化运维传统运维效率低,大多工作人为完成传统运维工作繁琐,容易出错传统运维每日重复做相同的事情传统运维没有标准化流程传统运维的脚本繁多,不能方便管理自动化运维就是要解决上面所有问题2常见自动化运... 查看详情

运维自动化之系统部署(代码片段)

运维自动化发展历程及技术应用安装程序CentOS系统安装系统启动流程:??bootloader-->kernel(initramfs)-->rootfs-->/sbin/initanaconda:系统安装程序??gui:图形窗口??tui:基于图形库curses的文本窗口安装程序启动过程MBR:isolinux/boot.catstage2:i... 查看详情

自动化运维之ansible(代码片段)

...按照传统方式进行推护会使得工作效率低下。这时,部署自动化运维就可以尽可能安全、高效地完成这些工作。一般会把自动化运维工具划分为两类:一类是需要使用代理工具的,也就是基于专用的Agent程序来完成管理功能,如:... 查看详情

部署自动化运维服务——ansible(代码片段)

...,仍旧按照传统方式进行维护会使得工作效率低下。部署自动化运维就成为了首先,自动化运维能够帮助工程师尽可能安全、高效的完成工作。自动化运维的工具一般分为两类:一类是需要使用代理工具,也就是基于专用的Agent... 查看详情

自动化运维-ansible(第一部)(代码片段)

前言什么是自动化运维?现如今的IT运维已经成为IT服务内涵中重要的组成部分。面对越来越复杂的业务,面对越来越多样化的用户需求,不断扩展的IT应用需要越来越合理的模式来保障IT服务能灵活便捷、安全稳定地持续保障,... 查看详情

京东数据库运维自动化体系建设之路(代码片段)

运维自动化来源于工作中的痛点,京东数据库团队面对的是商城成千上万的研发工程师,这种压力推动我们不断变革,然而变革不是一蹴而就,也经历过从手工到脚本化、自动化、平台化、智能化的艰难转变,所以说是需求在驱... 查看详情

自动化运维之ansible剑客参上(代码片段)

自动化运维之AnsibleAsible概述与核心组件Ansible是新出现的自动化运维工具,基于Python开发,集合了众多运维工具(puppet、cfengine、chef、func、fabric)的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能。Ansible可以... 查看详情

运维自动化(代码片段)

运维第一工具-shell编程shell历史Shell的作用是解释执行用户的命令,用户输入一条命令,Shell就解释执行一条,这种方式称为交互式(Interactive),Shell还有一种执行命令的方式称为批处理(Batch),用户事先写一个Shell脚本(Script... 查看详情

自动化运维之ansible安装与模块应用(代码片段)

自动化运维之AnsibleAnsible概述由于互联网快速展导致产品更新换代速度逐渐加快,运维人员每天都要进行大量维护操作,人就按照传统方式进行维护会使工作效率低下,只是,部署自动化运维就尽可能安全,高校的完成工作一般... 查看详情

运维自动化工具ansible(代码片段)

一、基础知识:1.简介ansible基于python开发,集合了众多运维工具的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于模块工作的,本身没有批量部署的能力。真正具有批量部署的是ansible运行的模块... 查看详情

运维面试东方网信自动化运维最新面试题(代码片段)

学员8月份去公司面试原题:笔试题:1.Linux如何挂在Windows下的共享目录[root@itlaoxin-17~]#mount.cifs//192.168.1.17/server/mnt/server-ouser=administrator,pass=1234562.查看http的并发请求数与其TCP链接状态[root@itlaoxin-17~]#netstat-n|awk\'/^tcp/ 查看详情

运维面试东方网信自动化运维最新面试题(代码片段)

学员8月份去公司面试原题:笔试题:1.Linux如何挂在Windows下的共享目录[root@itlaoxin-17~]#mount.cifs//192.168.1.17/server/mnt/server-ouser=administrator,pass=1234562.查看http的并发请求数与其TCP链接状态[root@itlaoxin-17~]#netstat-n|awk\'/^tcp/ 查看详情

自动化运维---git(代码片段)

一.git概括  二.常用指令gitinit初始化gitstatus查看git的状态gitadd将文件放到缓存区gitcommit-m将缓存区的内容提交到本地仓库gitconfig--globaluser.email‘[email protected]‘设置用户的邮箱gitconfig--globaluser.name"saoxiaoqiang"设置用户的... 查看详情

ansible自动化运维(代码片段)

ansible通过yum安装ansible已加载插件:fastestmirror,langpacksbase|2.9kB00:00base/primary_db|76kB00:00Determiningfastestmirrors正在解决依赖关系-->正在检查事务--->软件包ansible.noarch.0.2.3.1.0-3.el7将被安装-->正在处理依赖关系sshpass 查看详情

自动化运维之ansible(代码片段)

...行或下发配置,无需部署任何客户端代理软件,从而使得自动化环境部署变得更加简单。可同时支持多台主机并行管理,使得管理主机更加便捷。Ansible核心组件Ansible可以看作是一种基于模块进行工作的框架结构,批量部署能力... 查看详情

自动化运维专题:ansible批量自动化管理工具(代码片段)

... 无需部署agent,通过ssh进行管理  中小型公司常用的自动化运维工具   1.2jenkins简介  可视化运维(主要用在可视化部署)  持续构建,可以和git,snv结合  可结合ssh实现可视化运维  可结合ansible实现可视化... 查看详情

ansible自动化运维的使用领域和架构(代码片段)

Ansible一、自动化运维简介:自动化运维:将周期性、重复性、规律性的工作都交给工具去做,具体来说有应用系统维护自动化,巡检自动化和故障处理自动化这三个方面;自动化运维依赖于具体的智能管理平台,最终达到提升运... 查看详情