shell脚本去重的三种方法小结

更新时间：2023年12月24日 11:36:03 作者：小白的进阶

在实际工作中,进行Shell去重操作是非常常见的任务之一,本文主要介绍了shell脚本去重的三种方法小结,具有一定的参考价值,感兴趣的可以了解一下

第一种去重方法： sort -u 文件名或者 cat 文件名 | sort -u

[root@bogon ~]# sort -u test
fffff
jason

但这样只是将去重后的结果打印在屏幕上，如果想将去重后的内容保存下来，语句为：

sort -u 文件名 > 新文件名

或者

cat 文件名 | sort -u > 新文件名

即可将去重后的内容保存在新文件名中

第二种去重方法： uniq 文件名或者 cat 文件名 | uniq

[root@bogon ~]# uniq test
jason
fffff
jason

由此可见，uniq需要先排序后才能去重，同时将去重后的结果保存在新文件中：cat 文件名 | sort | uniq > 新文件名

第三种去重方法：sort、管道和uniq结合运用

（1）去除重复并保留一份重复的数据

[root@bogon ~]# sort test|uniq
fffff
jason

（2）去除所有重复的行（不保留重复的行），并计算行数

[root@bogon ~]# sort test|uniq -uc
      1 fffff

（3）找出所有重复的行，并计算行数

[root@bogon ~]# sort test|uniq -dc
      4 jason

（4）根据某个字段去重

[root@bogon ~]# sort -k 1,1 -u test
fffff
jason

查看sort的用法，-k参数是这么描述的：

-k, --key=POS1[,POS2]
start a key at POS1 (origin 1), end it at POS2 (default end of line)

也就是说-k哪几个列进行排序，pos1是开始列，pos2是结束列

到此这篇关于shell脚本去重的几种方法小结的文章就介绍到这了,更多相关shell脚本去重内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

shell
去重

Linux修改主机名的命令详解
通常在购买的服务器或者一些新安装的Linux系统主机名是一个随机的字符串,但是如果说我们想标识一下每台主机的名称,我们就可以修改一下主机名,所以本文给大家介绍了Linux修改主机名的命令,需要的朋友可以参考下
2024-01-01
shell之创建文件及内容的方法示例
这篇文章主要介绍了shell之创建文件及内容的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-05-05
Linux grep -q用法示例详解
grep指令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设grep指令会把含有范本样式的那一列显示出来，这篇文章主要介绍了Linux grep -q用法示例详解,需要的朋友可以参考下
2023-02-02
Shell获取当前正在执行脚本的绝对路径
本文主要介绍了Shell获取当前正在执行脚本的绝对路径，主要有三种方法，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-09-09
nginx 下安装配置 phpadmin报错的解决方法
下面小编就为大家带来一篇nginx 下安装配置 phpadmin报错的解决方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-02-02
MAC中用Shell脚本批量裁剪各种尺寸的App图标
这篇文章主要介绍了在MAC中用Shell脚本批量裁剪各种尺寸的App图标的方法,需要的朋友可以参考下
2014-03-03
Apache使用 .htaccess 来实现强制https访问的方法
下面小编就为大家带来一篇Apache使用 .htaccess 来实现强制https访问的方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-03-03
Shell脚本中计算字符串长度的5种方法
这篇文章主要介绍了Shell脚本中计算字符串长度的5种方法,来自于个人Shell脚本长期的开发经验,需要的朋友可以参考下
2014-06-06
Linux通过sar命令查看网卡流量
sar（System Activity Reporter系统活动情况报告）是目前 Linux 上最为全面的系统性能分析工具之一，这篇文章主要介绍了Linux通过sar命令查看网卡流量,需要的朋友可以参考下
2017-11-11
Shell脚本实现监控swap空间使用情况和查看占用swap的进程
这篇文章主要介绍了Shell脚本实现监控swap空间使用情况和查看占用swap的进程,曾经有一段时间机器的swap不停上涨,监控后发现是一些java进程占用swap空间后,完全不释放,杀死这些java进程后,释放swap,需要的朋友可以参考下
2014-12-12