Shell脚本去重的几种方法实例
更新时间：2015年07月10日 10:53:39 投稿：junjie
这篇文章主要介绍了Shell脚本去重的几种方法实例,本文直接给出代码实例,需要的朋友可以参考下
测试文件
复制代码 代码如下:
[root@bogon ~]# cat >test
jason
jason
jason
fffff
jason
按 Ctr + D保存
1、sort -u
复制代码 代码如下:
[root@bogon ~]# sort -u test
fffff
jason
2、uniq
复制代码 代码如下:
[root@bogon ~]# uniq test
jason
fffff
jason
由此可见，uniq需要先排序后才能去重
3、sort、管道和uniq结合运用
去除重复并保留一份重复的数据
复制代码 代码如下:
[root@bogon ~]# sort test|uniq
fffff
jason
去除所有重复的行（不保留重复的行），并计算行数
复制代码 代码如下:
[root@bogon ~]# sort test|uniq -uc
1 fffff
找出所有重复的行，并计算行数
复制代码 代码如下:
[root@bogon ~]# sort test|uniq -dc
4 jason
根据某个字段去重
将原有数据改为
复制代码 代码如下:
[root@bogon ~]# more test
jason 1
jason 2
jason 1
fffff 2
jason 3
[root@bogon ~]# sort -k 1,1 -u test
fffff 2
jason 1
man sort查看sort的用法，-k参数是这么描述的：
复制代码 代码如下:
-k, --key=POS1[,POS2]
start a key at POS1 (origin 1), end it at POS2 (default end of line)
也就是说-k哪几个列进行排序，pos1是开始列，pos2是结束列
相关文章
这篇文章主要给大家介绍了Linux查看端口占用情况的常用命令,lsof命令,netstat命令,ss命令,fuser命令,ps命令以及proc文件系统这几种常用命令,感兴趣的小伙伴跟着小编一起来看看吧2023-11-11
本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的朋友可以参考下2025-04-04
这篇文章给大家介绍了Linux 删除和替换文件中某一行的方法，非常不错，具有一定的参考借鉴价值，需要的朋友参考下吧2018-05-05
SHELL if命令参数介绍，方便学习shell命令的朋友，需要的朋友可以参考下2013-01-01
今天小编就为大家分享一篇关于Shell中的while循环几种使用实例详解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-03-03
这篇文章主要介绍了Linux中的特殊符号与正则表达式,需要的朋友可以参考下2017-09-09
本文主要介绍了bash脚本如何监控cup/内存/磁盘使用率，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-10-10
gunzip是个使用广泛的解压缩程序，它用于解开被gzip压缩过的文件，这些压缩文件预设最后的扩展名为.gz。下面通过本文给大家分享Linux 中的gunzip命令，一起看看吧2017-09-09
下面小编就为大家带来一篇Linux 分区初始化为物理卷,把物理卷加入卷组的方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-03-03
这篇文章主要介绍了shell备份文件、重命名文件、删除指定文件的3个脚本分享,是学习shell时的练习脚本,shell新手朋友可以参考下哦2014-07-07
最新评论