awk应用

使用awk提取文本

1.1 问题

本案例要求使用awk工具完成下列过滤任务：

• 练习awk工具的基本用法
• 提取本机的IP地址、根分区使用率
• 格式化输出/etc/passwd文件中的用户名、UID、宿主目录信息

格式化输出passwd文件内容时，要求第一行为列表标题，最后一行提示一共已处理文本的总行数，如图-1所示。

1.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：awk文本过滤的基本用法

1）基本操作方法

格式：awk [选项] ‘[条件]{编辑指令}‘ 文件

其中，print 是最常用的编辑指令；若有多条编辑指令，可用分号分隔。

处理文本时，若未指定分隔符，则默认将空格、制表符等作为分隔符。

直接过滤文件内容：

结合管道过滤命令输出：

2）选项 -F 可指定分隔符

截取/etc/passwd文件的前7行，用来创建一个测试文件，操作如下：

输出passwd.txt文件中以分号分隔的第1、7个字段，显示的不同字段之间以逗号隔开，操作如下：

或者：

awk还识别多种单个的字符，比如以“:”或“/”分隔，输出第1、10个字段：

输出每次处理的行号，以及当前行以“:”分隔的字段个数：

4）awk处理的时机

awk会逐行处理文本，支持在处理第一行之前做一些准备工作，以及在处理完最后一行之后做一些总结性质的工作。在命令格式上分别体现如下：

• 行前处理，BEGIN{ }
• 逐行处理，{ }
• 行后处理，END{ }

上述编辑指令段可以包含在一对单引号内，比如：

只做预处理的时候，可以没有操作文件，比如：

举个包括三个处理时机的例子——“统计系统中使用bash作为登录Shell的用户总个数：预处理时赋值变量x=0，然后逐行读入 /etc/passwd文件检查，如果发现登录Shell是/bin/bash则x增加1，全部处理完毕后，输出x的值即可。相关操作及结果如下：

当然，这个例子比较简单（效果与egrep -c ‘<bash$‘ /etc/passwd 相同），此处仅仅是用来说明awk三种处理时机的用法。在实际工作中，利用awk的这种处理流程可以完成许多更复杂的任务。

步骤二：利用awk提取本机的IP地址、根分区使用率

1）提取IP地址

分步实现的思路及操作参考如下——

通过ifconfig eth0查看网卡信息，其中包括IP地址：

结合grep获得包含IP地址的那一行：

再结合awk过滤出第2列：

2）提取根分区使用率

分步实现的思路及操作参考如下——

通过df命令查看根分区的使用情况，其中包括使用率：

输出上述结果中最后一行的第6列：

步骤三：格式化输出/etc/passwd文件

1）任务需求及实现思路分析

根据任务要求的结果，输出的内容包括三个部分：列表头、用户信息、列表尾。

由于/etc/passwd文件中的用户记录是单一的以“:”分隔，而且恰好awk本身就已经支持“前、中、后”三段式处理，所以用awk处理是再合适不过了。通过awk的内置变量NR即可获得处理的记录行数，因此只要设置正确的输出即可。

2）根据实现思路编写、验证awk过滤语句

输出信息时，可以使用“ ”显示Tab制表位：

2 案例2：awk处理条件

2.1 问题

本案例要求使用awk工具完成下列过滤任务，注意awk处理条件的设置：

• 列出UID间于501~505的用户详细信息
• 输出/etc/hosts文件内以127或192开头的记录
• 列出100以内整数中7的倍数或是含7的数

2.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：认识awk处理条件的设置

创建测试文件passwd.txt文件：

1）使用正则表达式设置条件

输出其中以bash结尾的完整记录：

输出以a、b、c或d开头的用户名、宿主目录：

输出其中用户名以a开头、登录Shell以nologin结尾的用户名、登录Shell：

输出其中宿主目录以bin结尾（对第6个字段做~匹配）的用户名、宿主目录信息：

输出其中登录Shell不以nologin结尾（对第7个字段做!~反向匹配）的用户名、登录Shell信息：

2）使用数值/字符串比较设置条件

输出第3行（行号NR等于3）的用户记录：

输出奇数行（行号NR除以2余数为1）的用户记录：

输出偶数行（行号NR除以2余数为0）的用户记录：

输出前3行文本：

输出从第5行开始到文件末尾的所有行：

输出用户名为“sync”的行：

输出当前用户的用户名、宿主目录、登录Shell信息：

3）逻辑测试条件

输出第3~5行文本：

严谨一点可以写成：

输出第3行和第5行文本：

输出“登录Shell不以nologin结尾”或者“用户名以a或d开头”的文本：

输出UID小于3或者UID是偶数的用户记录：

4）数学运算

以统计passwd.txt文件中以“:”分隔的总字段个数，需要每处理一行时将当前行的字段数（内置变量NF）计和，因此可在BEGIN时定义一个初始变量，过程称求和，最后在END时输出结果。

相关操作及结果如下（共49个字段）：

步骤二：完成任务要求的awk过滤操作

1）列出UID间于501~505的用户详细信息：

2）输出/etc/hosts映射文件内以127或者192开头的记录：

3）列出100以内整数中7的倍数或是含7的数：

此操作无处理文件，正常思路应该是用Shell循环来完成；因为要求用awk来实现，如果不用循环，则根据逐行处理的思路，应该提供一个100行的文本对象，然后将行号作为处理的整数，逐个判断并输出即可。

利用seq命令可生成1-100的整数序列，比如：

结合管道交给awk处理，可以简化实现步骤。针对本任务而言，行号与每行的实际文本值是一致的，那么根据NR或者$0行值进行判断都是可以的。输出100以内7的倍数或是包含7的数：

或者：

3 案例3：awk综合脚本应用

3.1 问题

本案例要求编写脚本getupwd-awk.sh，实现以下需求：

• 找到使用bash作登录Shell的本地用户
• 列出这些用户的shadow密码记录
• 按每行“用户名 --> 密码记录”保存到getupwd.log，如图-2所示

3.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：任务需求及思路分析

编写getupwd-awk.sh脚本的任务要求如下：

• 分析出使用bash作登录Shell的本地用户
• 列出这些用户的shadow密码记录
• 按每行“用户名 -- 密码记录”保存结果

步骤二：根据实现思路编写脚本

复制原getupwd.sh脚本，生成getupwd-awk.sh：

修改新脚本文件，内容参考如下：

步骤三：验证、测试脚本

4 案例4：awk流程控制

4.1 问题

本案例要求了解awk的流程控制操作，可自行设置awk语句来有验证以下操作：

• if分支结构（双分支、多分支）
• while循环结构
• break、continue等其他控制语句

4.2 步骤

实现此案例需要按照如下步骤进行。

步骤一：awk过滤中的if分支结构

1）单分支

统计/etc/passwd文件中UID小于或等于500的用户个数：

统计/etc/passwd文件中UID大于500的用户个数：

统计/etc/passwd文件中登录Shell是“/bin/bash”的用户个数：

统计/etc/passwd文件中登录Shell不是“/bin/bash”的用户个数：

2）双分支

分别统计/etc/passwd文件中UID小于或等于500、UID大于500的用户个数：

分别统计/etc/passwd文件中登录Shell是“/bin/bash”、 登录Shell不是“/bin/bash”的用户个数：

3）多分支

分别统计/etc/passwd文件中登录Shell是“/bin/bash”、“/sbin/nologin”、其他的用户个数：

步骤二：awk过滤中的while循环结构

1）while循环

统计/etc/passwd文件内“root”出现的次数。

—— 分析：以“:”或“/”做分隔，针对每一行的每一列进行比对，如果包含“root”，则次数加1。其中，逐行处理直接由awk完成，逐列处理交给while循环，通过i变量依次取$1、$2、……、$NF进行检查；变量j在预处理时赋值0，没匹配一个字段加1。

此例仅为说明while循环的用法。

实际应用时，上述操作可以简单处理，可通过命令替换将文件内容赋值给一个变量（变为一行文本），然后针对此变量值以目标字符串“root”作为分隔，获取总字段数-1即可得目标字符串的总数量：

5 案例5：awk扩展应用

5.1 问题

本案例要求使用awk工具完成下列两个任务：

• 分析Web日志的访问量排名，要求获得客户机的地址、访问次数，并且按照访问次数排名

5.2 方案

1）awk统计Web访问排名

在分析Web日志文件时，每条访问记录的第一列就是客户机的IP地址，其中会有很多重复的IP地址。因此只用awk提取出这一列是不够的，还需要统计重复记录的数量并且进行排序。

通过awk提取信息时，利用IP地址作为数组下标，每遇到一个重复值就将此数组元素递增1，最终就获得了这个IP地址出现的次数。

针对文本排序输出可以采用sort命令，相关的常见选项为-r、-n、-k。其中-n表示按数字顺序升序排列，而-r表示反序，-k可以指定按第几个字段来排序。

5.3 步骤

实现此案例需要按照如下步骤进行。

步骤一：统计Web访问量排名

分步测试、验证效果如下所述。

1）提取IP地址及访问量

2）对第1）步的结果根据访问量排名