Shell AWK编程的基本介绍和使用详解

 更新时间:2022年06月08日 11:24:34   作者:繁华似锦Fighting  
AWK可以看成一门独立的语言,它拥有语言的基本特征,换句话说AWK可以写出极其繁琐和复杂的程序,AWK的语法比Shell的语法还难以接收,这篇文章主要介绍了Shell AWK编程的介绍和基本使用,需要的朋友可以参考下

1、AWK介绍

(1)AWK概述

AWK是一种处理文本文件的语言,是一个强大的文本分析工具。

AWK可以看成一门独立的语言,它拥有语言的基本特征,换句话说AWK可以写出极其繁琐和复杂的程序,AWK的语法比Shell的语法还难以接收。但绝大多数情况下,我们并不需要用AWK写过于复杂的东西,建议能用Shell处理的需求就不用AWK来解决。

当用AWK处理需求远要比Shell处理简单的多的时候,我们就用AWK来解决。

AWK也是用来截取列信息的,它比Shell中的cut命令更先进,比如对空格作为分隔符的处理。

(2)printf格式化输出

在学习AWK之前,我们要先学习一下printf格式化输出命令,这个命令是AWK基本输出中必须要用到的一个命令。

AWK的标准输出支持print命令和printf命令,这两个命令在AWK当中基本作用是一样的,但是Linux命令中只支持printf命令,如下:

# 在Linux中执行print命令和printf命令
[root@192 ~]# print
# 报错命令没有找到
-bash: print: command not found
[root@192 ~]# printf
# 提示你命令格式写错了
printf: usage: printf [-v var] format [arguments]

我们可以看到Linux系统中只支持printf命令,所以我们这里就先学习一下printf命令。

(3)printf命令说明

[root@localhost ~]# printf '输出类型输出格式' 输出内容
输出类型:
  %ns:输出字符串。n是数字指输出几个字符。
  %ni:输出整数。n是数字指输出几个数字。
  %m.nf:输出浮点数。m和n是数字,指输出的总位数和小数位数。如%8.2f代表共输出8位数,其中2位是小数,6位是整数。
输出格式:
  \a:输出警告声音。
  \b:输出退格键,也就是Backspace键。
  \f:清除屏幕。
  \n:换行。
  \r:回车,也就是Enter键。
  \t:水平输出退格键,也就是Tab键
  \v:垂直输出退格键,也就是Tab键。

练习,使用如下文本:

ID      Name    Python  Linux   MySQL   Java
1       Tangs   88      87      86      85.55
2       Sunwk   99      98      97      96,66
3       Zhubj   77      76      75      74.44
4       Shahs   66      65      64      63.33

执行printf命令:

[root@localhost tmp]# printf '%s' $(cat student.txt)

说明:printf命令后是没有办法直接写参数的,也就是不能直接加文件名来读取文件的内容,printf命令支持的是其他命令结果的输出,交给printf命令来处理。所以说printf命令很少单独使用,一般都放在AWK当中来使用,这样更加合理,否则就和上边一样,看起来很难受。

结果:

[root@localhost tmp]# printf '%s' $(cat student.txt)
IDNamePythonLinuxMySQLJava1Tangs88878685.552Sunwk99989796,663Zhubj77767574.444Shahs66656463.33[root@192 tmp]#

我们可以看到上面的结果非常的烂,他是把所有的内容一个字符紧接着一个字符的输出,中间没有空格或者回车。

这就是printf命令,如果不指定输出的格式,则会把所有输出内容连在一起输出。其实文本的输出本身就是这样的,cat等文本输出命令之所以可以按照漂亮的格式输出,那是因为cat命令已经设定了输出格式。

那么为了让printf输出合理的格式,就需要手动自定义自己需要的格式。

printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)

说明:就是输出一个字符串(%s),后边加上一个制表符(tab键)隔开(\t),这样一共有6列,写6个%s\t,然后每一行最后加上一个回车(\n)。

执行命令结果如下:

[root@localhost tmp]# printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)
ID      Name    Python  Linux   MySQL   Java
1       Tangs   88      87      86      85.55
2       Sunwk   99      98      97      96.66
3       Zhubj   77      76      75      74.44
4       Shahs   66      65      64      63.33

注意:'%s\t %s\t %s\t %s\t %s\t %s\t \n'中的空格是没有意思的,写多少都行,只是方便自己看,printf命令,只认\n \t等输出格式。

如果不想把成绩当成字符串输出,而是按照整型和浮点型输出,执行如下命令:

[root@192 tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt | grep -v "Name")
1    Tangs  88  87  86     85.55
2    Sunwk  99  98  97     96.66
3    Zhubj  77  76  75     74.44
4    Shahs  66  65  64     63.33

这个例子不是很好,但一定要把标题顾虑掉,否则会出现如下效果,标题都被变成了整型数据。

[root@localhost tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt)
-bash: printf: ID: invalid number
-bash: printf: Python: invalid number
-bash: printf: Linux: invalid number
-bash: printf: MySQL: invalid number
-bash: printf: Java: invalid number
0    Name    0   0   0       0.00
1    Tangs   88  87  86     85.55
2    Sunwk   99  98  97     96.66
3    Zhubj   77  76  75     74.44
4    Shahs   66  65  64     63.33

2、AWK的基本使用

(1)AWK命令说明

[root@localhost ~]# awk '条件1{动作1} 条件2{动作2} ...' 文件名
条件(Pattern):
  一般使用关系表达式作为条件。这些关系表达式非常多,具体看下面一点。
  简单举例:
    x>10:判断变量x是否大于10。
    x==y:判断变量x是否等于变量y 。
    A~B:判断字符串A中是否包含能匹配B表达式的子字符串。
    A!~B:判断字符串A中是否不包含能匹配B表达式的子字符串。

动作(Action):
  格式化输出。
  流程控制语句。

提示:先判断条件是否成立,在进行对应动作。可以没有条件直接写动作,如果没有条件,则直接执行动作。

(2)AWK命令使用

1)基本使用

使用如下文本:

ID      Name    Python  Linux   MySQL   Java
1       Tangs   88      87      86      85.55
2       Sunwk   99      98      97      96,66
3       Zhubj   77      76      75      74.44
4       Shahs   66      65      64      63.33

执行命令:

awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt

结果:

[root@localhost tmp]# awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt
Name    Python  Java
Tangs   88      85.55
Sunwk   99      96.66
Zhubj   77      74.44
Shahs   66      63.33

说明:

  • AWK的动作条件是需要用单引号括起来的,所以在动作条件中的printf命令中定义的输出格式时,单引号就需要改换成双引号了,这里要注意。
  • 没有条件就是每一行都处理。
  • AWK的主要动作就是用printf命令来输出的。
  • AWK中可以直接添加文本文件,来获取文件中所需内容。

这里在补充一下print命令和printf命令用法差不多,print命令自带换行符,但是Linux系统不支持print命令。

# 使用`print`命令就不需要加上\n换行符了。
[root@localhost tmp]# awk '{print $2 "\t" $3 "\t" $6 "\t"}' student.txt
Name    Python  Java
Tangs   88      85.55
Sunwk   99      96.66
Zhubj   77      74.44
Shahs   66      63.33

2)处理分隔符是空格的情况

看磁盘情况的df命令的结果中,数据之间的分隔符是空格,用cut命令是处理不了的。

如下:

# 查看磁盘情况
[root@localhost tmp]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        19G  2.1G   16G  12% /
tmpfs           491M     0  491M   0% /dev/shm
/dev/sda1       240M   34M  194M  15% /boot

# 获取第二列信息
[root@localhost tmp]# df -h | cut -f 2
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        19G  2.1G   16G  12% /
tmpfs           491M     0  491M   0% /dev/shm
/dev/sda1       240M   34M  194M  15% /boot

使用AWK解决需求,获取磁盘情况的第1列和第5列的信息。

[root@localhost tmp]# df -h | awk '{printf $1 "\t" $5 "\t" "\n"}'
Filesystem  Use%
/dev/sda3   12%
tmpfs       0%
/dev/sda1   15%

3)综合练习

获取下面信息中根分区的占有率12。

[root@localhost tmp]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        19G  2.1G   16G  12% /
tmpfs           491M     0  491M   0% /dev/shm
/dev/sda1       240M   34M  194M  15% /boot

执行命令:

[root@localhost tmp]# df -h | grep "dev/sda3" | awk '{print $5}' | cut -d "%" -f 1
12

到此这篇关于Shell AWK编程的基本介绍和使用详解的文章就介绍到这了,更多相关Shell AWK使用内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • shell遍历目录处理特定目录的脚本代码

    shell遍历目录处理特定目录的脚本代码

    删除文件,目录结构为:ip/年份/月份,每个人都有一份这样的目录现需要删除2012年以前的所有文件,2012年以后的删除特定月份
    2013-02-02
  • linux rsync同步命令(值得收藏)

    linux rsync同步命令(值得收藏)

    本文给大家介绍linux 同步利器rsync,今天给大家介绍我从这个工具中看到的同步艺术,感兴趣的朋友一起通过本文学习吧
    2015-11-11
  • shell通过sed上下两行合并成一行的实现

    shell通过sed上下两行合并成一行的实现

    本文主要介绍了shell通过sed上下两行合并成一行的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • PXE kickstart自动化部署系统安装

    PXE kickstart自动化部署系统安装

    这篇文章主要为大家介绍了PXE kickstart自动化部署系统的过程详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-03-03
  • linux虚拟机上安装配置redis3.0.7

    linux虚拟机上安装配置redis3.0.7

    本篇内容给大家介绍在linux虚拟机上安装redis3.0.7这个版本的过程以及相关的配置问题。
    2017-11-11
  • shell编程中for循环语句的实现过程及案例

    shell编程中for循环语句的实现过程及案例

    Bash Shell中主要提供了三种循环方式:for、while和until,下面这篇文章主要给大家介绍了关于shell编程中for循环语句的实现过程及案例,文中通过示例代码介绍的非常详细,需要的朋友可以参考下
    2022-04-04
  • 解决VirtualBox中Ubuntu 14.04屏幕分辨率不能设置的问题

    解决VirtualBox中Ubuntu 14.04屏幕分辨率不能设置的问题

    下面小编就为大家带来一篇解决VirtualBox中Ubuntu 14.04屏幕分辨率不能设置的问题。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-05-05
  • vim命令汇总

    vim命令汇总

    本文主要介绍了vim命令汇总,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-06-06
  • 浅析Linux之bash反弹shell原理

    浅析Linux之bash反弹shell原理

    这篇文章主要介绍了浅析Linux之bash反弹shell原理,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10
  • shell中set -e的具体使用

    shell中set -e的具体使用

    set -e是一个Shell命令,它用于在脚本运行时自动退出,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-06-06

最新评论