脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → linux shell → awk Left、join查询、去除重复值以及局部变量

awk实现Left、join查询、去除重复值以及局部变量讲解例子

 更新时间：2014年07月29日 09:14:43   投稿：junjie  
这篇文章主要介绍了awk实现Left、join查询、去除重复值以及局部变量讲解例子,awk的高级使用技巧,需要的朋友可以参考下

最近看到论坛里面有几个不错的小例子，对于学习awk还是有帮助，在这儿详细的说一下

一、类似数据库中的left join查询

复制代码 代码如下:

[root@krlcgcms01 mytest]# cat a.txt    //a.txt
111   aaa
222   bbb
333   cccc
444   ddd
[root@krlcgcms01 mytest]# cat b.txt    //b.txt
111  123  456
2    abc  cbd
444  rts  786


要求输出结果是
111,aaa,123,456
444,ddd,rts,786

实现方法:

复制代码 代码如下:

[root@krlcgcms01 mytest]# awk 'NR==FNR{a[$1]=$2;}NR!=FNR && a[$1]{print $1","a[$1]","$2","$3}' a.txt b.txt
111,aaa,123,456
444,ddd,rts,786

解释：当NR和FNR相同时,这就说明在对第一个文件进行操作，a[$1]=$2表示，建立一个数组，以第一个字段为下标，第二个字段为值。当NR!=FNR时,说明在对第二个文件进行操作，注意：这个时候的$1和前面的$1不是同一个东西了，前面的$1表示的是a.txt的第一个字段，而后面的$1表示的是b.txt的第一个字段。a[$1]表示以b.txt中第一个字段的为下标的值，如果a[$1]有值的话，说明也存在于a.txt文件中，这样就把数据print出来就行了。

实现方法2:

复制代码 代码如下:

[root@krlcgcms01 mytest]# awk -v OFS="," 'NR==FNR{a[$1]=$2;} NR!=FNR && $1 in a { print $1,a[$1],$2,$3}' a.txt b.txt
111,aaa,123,456
444,ddd,rts,786

解释：-v OFS=","这个是设置输出时的列分割符，$1 in a这个是b.txt文件中的第一列的值是不是在数组a的key中，这个对做程序的来说很好理解，各种语言当中都有这样的用法，或者函数。例如，php中有in_array函数。比较一下，方法1和方法2中的print，方法1我加了双引号，方法2我却没有加，但是输出的效果却是一样的。

二、去除重复的值

复制代码 代码如下:

[root@krlcgcms01 mytest]# cat repea   //文件repea
 a b
 c d
 e f
 b d
 b a
 f e
 1 2
 2 1

如果有a,b和b,a这样的情况，就删除b,a，当然数字也一样;

实现方法1：

复制代码 代码如下:

awk '{for(i=1;i<=NF;i++)a[i]=$i;asort(a);for(i=1;i<=length(a);i++)printf a[i]"\t";printf "\n"}' repea|sort|uniq
1       2
a       b
b       d
c       d
e       f

解释：for(i=1;i<=NF;i++)a[i]=$i;将每一列中的二个字段放到数组中，asort(a)，这个数组进行排序，后面的代码是将数组数据输出来，通sort命令对输入的数据进行排序，相同数据会排在一起，通过uniq来进行去除相同的列。这种方法比较有通用性，不光适合二列，三列，四列都行。不过效率差了点。

实现方法2：

复制代码 代码如下:

[root@krlcgcms01 mytest]# awk '{a[$0]=$0;if (!($2 OFS $1 in a)) print a[$0] }' repea
a b
c d
e f
b d
1 2
[root@krlcgcms01 mytest]# awk '{a[$0];if (!($2 OFS $1 in a)) print  }' repea   
a b
c d
e f
b d
1 2

解释：方法2的二种写法，出来的结果是一样的，a[$0];没有赋值也没有报错，为什么呢？awk在遇到这样没有定义的变量时，会给它一个初值。if (!($2 OFS $1 in a))表示返转字段不在数组a中，这里所说的在，表示key是不是存在，不是值。print 不写默认是一行。

实现方法3：

复制代码 代码如下:

[root@krlcgcms01 mytest]# awk '!a[$1_$2]++&&!a[$2_$1]++' repea
a b
c d
e f
b d
1 2
[root@krlcgcms01 mytest]# awk '{if(!a[$1_$2]++&&!a[$2_$1]++)print $0;}' repea
a b
c d
e f
b d
1 2

解释：!a[$1_$2]++&&!a[$2_$1]++等于if(!a[$1_$2]++&&!a[$2_$1]++),对于首次出现的记录，a[$2_$1]的值是未定义的，由于后面的 ++ 是数学计算，所以a[$2_$1]会被赋值成数字0，也是由于 ++ 操作符，会先取值，再计算，从左到右 ++ 运算符的优先级大于！运算符的，所以对于第一行记录实际上是if(! 0) print $0     ! 是取反，0 是假，! 0 就是真，那么就会执行后面的 print $0对于后面出现的重复记录，a[$0] 经过 ++ 的计算已经变为 1、2、3 。。。而 ! 1  ! 2  ! 3 ... 都为假，不会打印。

三、awk的局部变量

这个例子来说明一下，awk怪异的局部变量

复制代码 代码如下:

[root@krlcgcms01 mytest]# cat sum 
 1       2 
 2       3 
 a       b 
 3       2 
 4       1 
 3       r 

把都是数字的行，最大的那个数字加起来，第一行是2，第二行是3，每四行是3，第五行是4，总和是12

复制代码 代码如下:

function max(one,two){
 if(one > two){
 sum = sum + one;
 }else{
 sum  = sum + two;
 }
 }

{if($1~"[0-9]" && $2~"[0-9]") max($1,$2);}
 END{print "sum="sum}


在max方法里面，变量sum是会影响外面的，这里的sum是全局的。
[root@krlcgcms01 mytest]# awk -f add.sh sum
sum=12

复制代码 代码如下:

function max(one,two,sum){    //方法中的sum局部变量
if(one > two){
sum = sum + one;
}else{
sum  = sum + two;
}
}

{if($1~"[0-9]" && $2~"[0-9]") max($1,$2,sum);}

END{print "sum="sum}         //所以为空

[root@krlcgcms01 mytest]# awk -f add.sh sum
sum=

复制代码 代码如下:

function max(one,two,sum){
 if(one > two){
 sum = sum + one;
 }else{
 sum  = sum + two;

 }

  return  sum                 //加上return就可以了
 }

{if($1~"[0-9]" && $2~"[0-9]") sum = max($1,$2,sum);}

END{print "sum="sum}

相关文章

  • Shell脚本实现精准清除Squid缓存

    Shell脚本实现精准清除Squid缓存

    这篇文章主要介绍了Shell脚本实现精准清除Squid缓存,本文脚本是张宴同学脚本的个人优化版,生产环境使用效果不错,所以分享给大家,需要的朋友可以参考下
    2015-01-01
  • Linux启动与自启动的实例详解

    Linux启动与自启动的实例详解

    这篇文章主要介绍了Linux启动与自启动的实例详解的相关资料,希望通过本文大家能理解掌握这部分内容，需要的朋友可以参考下
    2017-09-09
  • 轻松掌握Linux关机重启命令

    轻松掌握Linux关机重启命令

    在Linux系统下关机重启命令有：shutdown、halt、rebbot、init命令，对于这些命令来说，他们的内部工作过程是不相同的，下面小编给大家分享一篇文章有助于轻松掌握linux关机重启命令
    2015-11-11
  • shell脚本ssh远程执行命令给变量赋值的问题解决

    shell脚本ssh远程执行命令给变量赋值的问题解决

    本文主要介绍了shell脚本ssh远程执行命令给变量赋值的问题解决，就是从A机器通过SSH方式到B机器，并执行相关的命令，具有一定的参考价值，感兴趣的可以了解一下
    2023-07-07
  • Linux全网最全面常用命令整理(附实例)

    Linux全网最全面常用命令整理(附实例)

    这篇文章主要介绍了Linux命令，是目前最全面的集合，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-08-08
  • Shell脚本中判断变量为数字的3种方法

    Shell脚本中判断变量为数字的3种方法

    这篇文章主要介绍了Shell脚本中判断变量为数字的3种方法,本文分别介绍了expr、sed两种方法,并给出了一个判断脚本,需要的朋友可以参考下
    2014-12-12
  • sed使用正则表达式进行替换例子以及注意事项

    sed使用正则表达式进行替换例子以及注意事项

    在使用sed替换时,可以使用正则表达式分组来保留部分匹配内容,下面这篇文章主要给大家介绍了关于sed使用正则表达式进行替换例子以及注意事项的相关资料,需要的朋友可以参考下
    2024-03-03
  • Linux中搭建FTP服务器的方法

    Linux中搭建FTP服务器的方法

    这篇文章主要介绍了Linux中搭建FTP服务器的方法 的相关资料,需要的朋友可以参考下
    2015-09-09
  • Linux 下载百度网盘大文件的方法

    Linux 下载百度网盘大文件的方法

    Linux 下没有百度网盘客户端，用浏览器下载速度慢得急死人，本文重点给大家介绍Linux 下载百度网盘大文件的方法，需要的朋友参考下吧
    2017-08-08
  • shell 脚本中获取命令的输出的实现示例

    shell 脚本中获取命令的输出的实现示例

    本文主要介绍了shell 脚本中获取命令的输出的实现示例，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-02-02

最新评论