Shell脚本去重的几种方法实例

 更新时间:2015年07月10日 10:53:39   投稿:junjie  
这篇文章主要介绍了Shell脚本去重的几种方法实例,本文直接给出代码实例,需要的朋友可以参考下

测试文件

复制代码 代码如下:

[root@bogon ~]# cat >test
jason
jason
jason
fffff
jason

按 Ctr + D保存

1、sort -u

复制代码 代码如下:

[root@bogon ~]# sort -u test
fffff
jason

2、uniq
复制代码 代码如下:

[root@bogon ~]# uniq test
jason
fffff
jason

由此可见,uniq需要先排序后才能去重

3、sort、管道和uniq结合运用
去除重复并保留一份重复的数据

复制代码 代码如下:

[root@bogon ~]# sort test|uniq
fffff
jason

  去除所有重复的行(不保留重复的行),并计算行数
复制代码 代码如下:

[root@bogon ~]# sort test|uniq -uc
      1 fffff

  找出所有重复的行,并计算行数
复制代码 代码如下:

[root@bogon ~]# sort test|uniq -dc
      4 jason

根据某个字段去重

将原有数据改为

复制代码 代码如下:

[root@bogon ~]# more test
jason 1
jason 2
jason 1
fffff 2
jason 3
[root@bogon ~]# sort -k 1,1 -u test
fffff 2
jason 1

  man sort查看sort的用法,-k参数是这么描述的:
复制代码 代码如下:

    -k, --key=POS1[,POS2]
    start a key at POS1 (origin 1), end it at POS2 (default end of line)

  也就是说-k哪几个列进行排序,pos1是开始列,pos2是结束列

相关文章

  • 一天一个shell命令 linux文本内容操作系列-sed命令详解

    一天一个shell命令 linux文本内容操作系列-sed命令详解

    这篇文章主要介绍了一天一个shell命令 linux文本内容操作系列-sed命令详解,需要的朋友可以参考下
    2016-06-06
  • 详解Linux下读取位图的注意事项

    详解Linux下读取位图的注意事项

    这篇文章主要介绍了详解Linux下读取位图的注意事项的相关资料,需要的朋友可以参考下
    2017-07-07
  • Shell脚本实现的单机流量统计功能

    Shell脚本实现的单机流量统计功能

    这篇文章主要介绍了Shell脚本实现的单机流量统计功能,本文给出实现代码和使用方法,及运行结果,需要的朋友可以参考下
    2014-11-11
  • 提高你工作效率的shell命令总结大全

    提高你工作效率的shell命令总结大全

    脚本语言可以减少很多手动的操作,作为一个Linux程序员都应该了解简单的脚本编写来代替手动的操作,下面这篇文章主要给大家总结分享了一些提高你工作效率的shell命令,文中给出了详细的示例代码供大家参考学习,需要的朋友们下面来一起看看吧。
    2017-07-07
  • linux shell之pushd、popd和dirs的使用讲解

    linux shell之pushd、popd和dirs的使用讲解

    今天小编就为大家分享一篇关于linux shell之pushd、popd和dirs的使用讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-04-04
  • linux下自动备份MySQL数据并上传到FTP上的shell脚本

    linux下自动备份MySQL数据并上传到FTP上的shell脚本

    linux下自动备份MySQL数据并上传到FTP上的shell脚本,需要的朋友可以参考下
    2013-01-01
  • awk 九九乘法表 shell实现代码

    awk 九九乘法表 shell实现代码

    这篇文章主要介绍了awk 九九乘法表 shell实现代码,需要的朋友可以参考下
    2016-03-03
  • Git 常用命令整理

    Git 常用命令整理

    本文主要介绍了Git 命令,这里对Git 常用命令进行了整理,在开发项目过程中足够用了,有需要的小伙伴可以参考下
    2016-07-07
  • ./ 和 sh 的使用区别详解

    ./ 和 sh 的使用区别详解

    这篇文章主要介绍了./ 和 sh 的使用区别详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-09-09
  • Shell中变量作用域的介绍与使用命令

    Shell中变量作用域的介绍与使用命令

    作用域是我们在日常学习或者工作中经常会遇到的一个问题,下面这篇文章主要给大家介绍了关于Shell中变量作用域的相关资料,文中介绍的非常详细,需要的朋友可以参考借鉴,下面跟着小编来一起学习学习吧。
    2017-08-08

最新评论