shell脚本去重的三种方法小结
更新时间：2023年12月24日 11:36:03 作者：小白的进阶
在实际工作中,进行Shell去重操作是非常常见的任务之一,本文主要介绍了shell脚本去重的三种方法小结,具有一定的参考价值,感兴趣的可以了解一下
测试文件如下
jason jason jason fffff jason
第一种去重方法： sort -u 文件名 或者 cat 文件名 | sort -u
[root@bogon ~]# sort -u test fffff jason
但这样只是将去重后的结果打印在屏幕上，如果想将去重后的内容保存下来，语句为：
sort -u 文件名 > 新文件名
或者
cat 文件名 | sort -u > 新文件名
即可将去重后的内容保存在新文件名中
第二种去重方法： uniq 文件名 或者 cat 文件名 | uniq
[root@bogon ~]# uniq test jason fffff jason
由此可见，uniq需要先排序后才能去重，同时将去重后的结果保存在新文件中：cat 文件名 | sort | uniq > 新文件名
第三种去重方法：sort、管道和uniq结合运用
（1）去除重复并保留一份重复的数据
[root@bogon ~]# sort test|uniq fffff jason
（2）去除所有重复的行（不保留重复的行），并计算行数
[root@bogon ~]# sort test|uniq -uc
1 fffff（3）找出所有重复的行，并计算行数
[root@bogon ~]# sort test|uniq -dc
4 jason（4）根据某个字段去重
[root@bogon ~]# sort -k 1,1 -u test fffff jason
查看sort的用法，-k参数是这么描述的：
-k, --key=POS1[,POS2]
start a key at POS1 (origin 1), end it at POS2 (default end of line)
也就是说-k哪几个列进行排序，pos1是开始列，pos2是结束列
到此这篇关于shell脚本去重的几种方法小结的文章就介绍到这了,更多相关shell脚本去重内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
如果你是后端程序员，我想你一定见过*.tar.gz、*.zip、*.jar后缀的文件吧，这些都是压缩文件，那这些文件都是怎么生成的，又有哪些关键区别呢？本文将带你一起了解这些文件和配套的操作命令，以及其经常使用的场景2022-09-09
检查linux网络状态的两个脚本，包括通过定时收发email检测网络连通性、定时检测网络状态通过email发送，有需要的朋友可以参考下2013-02-02
在shell脚本中，发现case语句的一个问题。就是指定小写字母[a-z]和大写字母[A-Z]的这种方法不管用了2013-11-11
这篇文章主要介绍了shell编程基础知识，包括文件类型、正则表达式、字符类、引号类型、变量设置、条件测试、命令执行顺序、脚本调试方面的介绍2013-02-02
今天小编就为大家分享一篇浅谈shell数组的定义及循环，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
这篇文章主要介绍了Shell脚本中调用、引用、包含另外一个脚本文件的两种方法,本文介绍的两种方法适合在当前目录下,需要的朋友可以参考下2014-12-12
linux中编写自己的并发队列类(Queue 并发阻塞队列)
这篇文章主要介绍了linux中编写并发队列类，功能有：并发阻塞队列、有超时限制、有大小限制2013-12-12
这篇文章主要介绍了vtune自动化安装脚本,需要的朋友可以参考下2014-04-04
Linux作为一个高度成熟和强大的操作系统,拥有非常丰富的命令行工具,对于Java开发者来说,掌握一些常用的Linux命令可以大大提高工作效率,尤其是在服务器端开发时,本文小编给大家分享了一些常用命令,需要的朋友可以参考下2023-10-10
本文为大家举一些shell数组的小例子，供大家学习参考2013-02-02
最新评论