shell中删除文件中重复行的方法
更新时间：2014年03月13日 15:02:45 作者：
这篇文章主要介绍了shell中删除文件中重复行的方法,需要的朋友可以参考下
Linux下文本处理工具很丰富很强大，例如这样一个文件：
复制代码 代码如下:
cat log
www.jb51.net 192.168.1.1
www.jb51.net 192.168.1.1
www.jb51.net 192.168.1.2
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg
www.jb51.net 192.168.1.1
www.jb51.net 192.168.1.1
www.jb51.net 192.168.1.2
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg
可用以下方法去除重复行：
1.使用uniq/sort删除重复行
注意：单纯uniq是不行的。
复制代码 代码如下:
shell> sort -k2n file | uniq > a.out
这里我做了个简单的测试，当file中的重复行不再一起的时候，uniq没法删除所有的重复行。经过排序后，所有相同的行都在相邻，因此unqi可以正常删除重复行。
2.使用用sort+awk命令
注意：单纯awk同样不行，原因同上。
复制代码 代码如下:
shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'
也可以使用 awk '!i[$1]++' log;
3.用sort+sed命令，同样需要sort命令先排序。
复制代码 代码如下:
shell> sort -k2n file | sed '$!N; /^\(.*\)\n\1$/!P; D'
相关文章
完美解决ntp的错误问题no server suitable for synchronization fo
下面小编就为大家带来一篇完美解决ntp的错误问题no server suitable for synchronization fo。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-03-03
下面小编就为大家带来一篇在linux的终端退出python命令行的方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-01-01
在Linux环境下，两台主机之间传输文件一般使用scp命令，通常用scp命令通过ssh获取对方linux主机文件的时候都需要输入密码确认。通过建立信任关系，可以实现不输入密码，感兴趣的朋友跟着小编一起学习在Linux下用scp复制文件无需输入密码的技巧2015-09-09
useradd或adduser命令用来建立用户帐号和创建用户的起始目录，使用权限是超级用户。这篇文章给大家介绍了Linux创建用户的操作命令，感兴趣的朋友一起看看吧2018-08-08
这篇文章主要介绍了shell查找某字符串在某文件中出现行数的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-02-02
这篇文章主要介绍了Linux bash Shell中的变量类型详解,变量类型共分为本地变量、局部变量、环境变量、位置变量和特殊变量等,需要的朋友可以参考下2015-06-06
这篇文章主要介绍了shell脚本中执行python脚本并接收其返回值的例子,本文重点在于如何接收python脚本的返回值,需要的朋友可以参考下2014-08-08
这篇文章主要介绍了shell数组操作总结,这里包括数组的声明、访问、复制、计算、删除、替换等操作,需要的朋友可以参考下2014-05-05
这篇文章给大家介绍了Linux解压缩文件的命令，感兴趣的朋友跟随脚本之家小编一起看看吧2018-05-05
这篇文章主要为大家介绍了Linux下top命令之后的内容及其作用详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-09-09
最新评论