详解Linux中的awk命令

 更新时间:2019年11月18日 10:12:53   作者:象在舞  
awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。这篇文章主要介绍了Linux中的awk命令的相关知识,需要的朋友可以参考下

简介

awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。

awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本。

awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言: AWK 程序设计语言 , 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序,这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表,还有无数其他的功能。

一、选项参数说明

awk是一种处理文本文件的语言,我们可以使用awk --help查看一下它的选项参数,如下:

二、基本用法

1、行匹配语句,此处awk后只能跟单引号,格式如下:

awk '{匹配的内容}' 匹配的文件名称

例如:

现有如下测试文件test:

使用如下命令输出文中每行的1、4项内容:

awk '{print $1,$4}' test

也可以添加如下内容使其格式化输出:

awk '{printf "%-8s %-10s\n",$1,$4}' test 

2、指定分隔符

awk '{printf "%-8s %-10s\n",$1,$4}' test 

例如:

有如下test文件:

执行如下命令,使用逗号分割输出每行的第一、二项内容:

awk -F, '{print $1,$2}' test

也可以使用内建变量,格式如下:

 awk 'BEGIN{FS=","} {print $1,$2}' test

对于使用多个分隔符,首先使用空格分割,然后再使用其他分割符进行分割:

awk -F '[ ,]' '{print $1,$2,$4}' test

3、设置变量

awk -v

例如:

现有如下数据:

执行如下命令,每行第一项加1:

awk -va=1 '{print $1,$1+a}' test

也可以使用如下命令设置多个变量:

awk -va=1 -vb=s '{print $1,$1+a,$1b}' test

4、通过awk脚本来运行awk命令

awk -f awk脚本 文件名

例如:

awk -f file.awk test

三、运算符

例如:

1、过滤第一列大于2的行

awk '$1>2' test

2、过滤等于2的列

awk '$1==2 {print $1,$3}' test

3、过滤第一列大于2并且第二列等于Are的行

awk '$1>2 && $2=="Are" {print $1,$2,$3}' test

四、内建变量

例如:

awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' test

awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' test

awk '{print NR,FNR,$1,$2,$3}' test

awk '{print $1,$2,$5}' OFS=" $ " test

五、使用正则,字符串匹配

例如:

1、输出第二列包含“th”并打印第二列与第四列。

awk '$2 ~ /th/ {print $2,$4}' test

~表示模式开始,//中存放匹配的模式。

2、输出包含“re”的行

awk '/re/ ' test

六、忽略大小写

awk 'BEGIN{IGNORECASE=1} /this/' test

七、模式取反

awk '$2 !~ /th/ {print $2,$4}' test

awk '!/th/ {print $2,$4}' test

八、awk脚本

关于awk脚本,需要注意BEGIN和END两个关键词:

(1)BEGIN{存放执行前的语句};

(2)END{存放处理完所有的行后要执行的语句}。

例如:

现有数据如下:

我们的awk脚本内容如下:

执行结果如下:

总结

以上所述是小编给大家介绍的Linux中的awk命令,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

相关文章

  • shell之分离解析脚本的实现方法

    shell之分离解析脚本的实现方法

    这篇文章主要介绍了shell之分离解析脚本的实现方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-10-10
  • shell脚本实现监控某个进程意外停止后拉起进程

    shell脚本实现监控某个进程意外停止后拉起进程

    今天小编就为大家分享一篇关于shell脚本实现监控某个进程意外停止后拉起进程,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-04-04
  • bash 循环中变量作用范围的问题分析

    bash 循环中变量作用范围的问题分析

    大家在bash编写中,经常需要用到循环,但循环中变量作用范围的问题有些朋友不是很懂,这里简单分享下,方便需要的朋友
    2013-01-01
  • 利用Linux Find命令快速查找文件方法

    利用Linux Find命令快速查找文件方法

    这篇文章主要介绍了利用Linux Find命令快速查找文件方法,这篇文章应用最多的就是linux find命令进行快速查找定位,本文给大家介绍了find 命令基本使用方法,需要的朋友可以参考下
    2022-12-12
  • Linux下服务器重启的脚本命令

    Linux下服务器重启的脚本命令

    Linux关闭和重启系统一般使用相同的命令可以实现。下面脚本之家小编给大家带来了Linux下服务器重启的脚本命令,感兴趣的朋友一起看看吧
    2017-09-09
  • shell实现四则运算简单方法

    shell实现四则运算简单方法

    在刚刚学习写shell 批处理时候,进行逻辑运算中,少不了需要进行基础的:四则运算,这里说说在linux shell 里面简单的实现方法
    2014-03-03
  • Linux nano命令使用示例

    Linux nano命令使用示例

    nano是一个小型、免费、友好的编辑器,旨在取代非免费Pine包中的默认编辑器Pico,nano是一个字符终端的文本编辑器,有点像DOS下的editor程序,这篇文章主要介绍了Linux nano命令使用示例,需要的朋友可以参考下
    2023-03-03
  • shell 创建子进程及并行延时执行命令方法

    shell 创建子进程及并行延时执行命令方法

    本文主要介绍了shell 创建子进程及并行延时执行命令方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-01-01
  • Linux命令之systemctl用法详解

    Linux命令之systemctl用法详解

    Linux 服务管理两种方式service和systemctl,systemd是Linux系统最新的初始化系统(init),作用是提高系统的启动速度,尽可能启动较少的进程,尽可能更多进程并发启动,本文给大家详细讲解了Linux systemctl命令用法,需要的朋友可以参考下
    2024-03-03
  • Shell脚本实现线上服务器之间对比文件是否一致

    Shell脚本实现线上服务器之间对比文件是否一致

    这篇文章主要介绍了Shell脚本实现线上服务器之间对比文件是否一致,本文脚本在特殊环境下使用,需要的朋友可以参考下
    2014-12-12

最新评论