Linux 删除文本中的重复行的方法
我要评论在进行文本处理的时候，我们经常遇到要删除重复行的情况。那怎么解决呢？
下面就是三种常见方法？
第一，用sort+uniq，注意，单纯uniq是不行的。
shell> sort -k2n file | uniq
这里我做了个简单的测试，当file中的重复行不再一起的时候，uniq将服务删除所有的重复行。经过排序后，所有相同的行都在相邻，因此unqi可以正常删除重复行。
第二，用sort+awk命令，注意，单纯awk同样不行，原因同上。
shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'
当然，自己把管道后面的代码重新设计一下，可能不需要sort命令先排序拉。
第三，用sort+sed命令，同样需要sort命令先排序。
shell> sort -k2n file | sed '$!N; /^.∗\n\1$/!P; D'
最后附一个必须先用sort排序的文本的例子，当然，这个需要用sort排序的原因是很简单，就是后面算法设计的时候的“局部性”，相同的行可能分散出现在不同的区域，一旦有新的相同行出现，那么前面的已经出现的记录就被覆盖了，看了这个例子就好理解拉。
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg
其实，这是我随便打进去的几行字，没想到就是必须用sort的很好例子，大家可以自己试试看。
相关文章
集成系统级Claw模式! Deepin 官宣发布 25.1 版本
deepin操作系统发布了最新的 25.1 版本更新，该版本基于 deepin 25 正式版积累的多轮内测成果，在 AI 能力、内核版本、桌面环境、文件管理器以及系统安全等方面进行了更新2026-04-13
又一代老硬件退场! Linux 内核正式放弃Intel 486 CPU
在过去的几十年间，CPU 的架构已经经历了飞速发展，x86 系列就是其中之一，而 i486 则属于该系列中的一个，当前，i486 的CPU处理器已经够老，从 Linux 7.1 开始将不再有对2026-04-09- 我把 Linux 中最常用、最实用、最常被问到的命令按照实际使用场景分类整理，方便你快速查阅和记忆，内容覆盖日常运维、开发调试、性能分析、文件处理、网络、安全、系统管2026-04-08
一分钟内检查Linux服务器性能? 9个性能检测常用的基本命令
今天我们来看看Linux系统中用于性能监控的一系列命令，这些命令可以快速查看机器的负载情况，详细请看下文介绍2026-03-18- Linux作为操作系统领域灵活性和可定制性的基石，提供了大量满足不同用户需求的发行版，今天分享适合高级用户的15款Linux发行版2026-03-10
开箱即用? 这4个高手级Linux发行版远没你想象的那么安全易用
如果你正在纠结用哪个发行版？零基础新手别被“高端”“极客”“声明式”这些词冲昏头脑，先用好用的，再慢慢进阶2026-03-10这几款SSH工具真的够用了! Linux好用的ssh工具推荐
在Linux上使用SSH，您需要安装一个SSH客户端，今天整理找到的8 款 SSH / 终端工具，从免费开源到企业级商用，从轻量化命令行到一站式工具箱，每款都做了介绍与对比，希望能2026-03-09- 在Linux系统下有两种用户，即高级用户root，普通用户，高级用户root可以在系统中做任何事情，普通用户仅可在Linux系统中做有限的事情，下面我们就来看看切换方法2026-02-28
揭秘当前登录用户的身份! Linux中使用logname命令的技巧
logname命令就是这样一个简单但强大的工具，它能帮助我们轻松获取当前登录用户的用户名,今天，我们就来深入探索一下这个命令的工作原理、使用方法和最佳实践2026-02-26- 在 Linux 系统中，DNS 缓存是一种将域名和 IP 地址映射关系缓存在本地的机制，可以加快域名解析速度，并减轻 DNS 服务器的负载2026-02-26
最新评论