python之如何进行去重问题

 更新时间:2023年06月17日 15:32:25   作者:晚风吹儿  
这篇文章主要介绍了python之如何进行去重问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

python如何进行去重

自定义函数去重

解析思路:

  • 1、确定去重目标
  • 2、给一个空列表去接收去重后的元素
  • 3、遍历需要去重的序列,将重复数据过滤
  • 4、打印去重后的数据
l = [1,1,3,2,2,3,4,2,5]
new = []
for i in l:
    if i not in new:
        new.append(i)
print(new)

输出结果:

[1, 3, 2, 4, 5]

内置函数去重

l = [1,1,3,2,2,3,4,2,5]
b = list(set(l))
print(b)

输出结果:

[1, 2, 3, 4, 5]

可以看出去重后改变了序列的顺序,所以去重后需要按元素索引进行排序,才会保持序列的原有顺序

代码如下:

l = [1,1,3,2,2,3,4,2,5]
a = list(set(l))
a.sort(key=l.index)
print(a)

输出结果:

[1, 3, 2, 4, 5]

python列表常见的5种去重方式

列表去重在python实际运用中,十分常见,也是最基础的重点知识。

以下总结了5种常见的列表去重方法

一、使用for循环实现列表去重

  • 此方法去重后,原顺序保持不变。
# for循环实现列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = []
for l1 in list1:
    if l1 not in list2:
        list2.append(l1)
print(list2)

结果:[‘a’, ‘b’, 1, 3, 9]

二、使用列表推导式去重

  • 此方法去重后,原顺序保持不变。
# 使用列表推导式去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
res = []
[res.append(i) for i in list1 if i not in res]
print(res)

结果:[‘a’, ‘b’, 1, 3, 9]

三、使用集合转换函数set()实现列表去重

  • 原理:同一个集合的元素之间是不允许重复的
# set()列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = list(set(list1))
print(list2)

结果:[1, 3, 9, ‘b’, ‘a’]

问题:使用set()函数去重后,会自动排序,则原列表的顺序会发生改变

解决办法有2种:

  • 第一种方法,使用sort()方法
# # 第一种方法,sort()
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = list(set(list1))
list2.sort(key=list1.index)
print(list2)

结果:[‘a’, ‘b’, 1, 3, 9]

注:sort()方法没有返回值,对列表元素进行原地排序

  • 第二种方法,使用sorted()函数
# 第二种方法,sored()
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = sorted(list(set(list1)), key=list1.index)
print(list2)

结果:[‘a’, ‘b’, 1, 3, 9]

注:python内置函数sorted()函数返回新的列表,并不对原列表做任何修改

四、使用新建字典方式实现列表去重

  • 原理:字典的"键"是不允许重复的
  • 此方法去重后,原来顺序保持不变。
# 使用新建字典实现列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
dic = {}
dic = dic.fromkeys(list1).keys()
print(list(dic))

结果:[‘a’, ‘b’, 1, 3, 9]

五、删除列表中存在重复的数据

  • 上面的4种去重方法,都是保留一个,删除其他
  • 下面这种方法则是,只要存在重复,一个都不保留
# 删除存在重复的值,不保留
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = [i for i in list1 if list1.count(i) == 1]
print(list2)

结果:[‘b’, 1, 3]

好了,这就是关于列表去重的5种方法,可以根据需求选择对应的方法。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • matplotlib之Pyplot模块绘制三维散点图使用颜色表示数值大小

    matplotlib之Pyplot模块绘制三维散点图使用颜色表示数值大小

    在撰写论文时常常会用到matplotlib来绘制三维散点图,下面这篇文章主要给大家介绍了关于matplotlib之Pyplot模块绘制三维散点图使用颜色表示数值大小的相关资料,文中通过图文介绍的非常详细,需要的朋友可以参考下
    2022-08-08
  • Python的Django框架中的URL配置与松耦合

    Python的Django框架中的URL配置与松耦合

    这篇文章主要介绍了Python的Django框架中的URL配置与松耦合,文中简单讲解了这一松耦合原则,需要的朋友可以参考下
    2015-07-07
  • 实用自动化运维Python脚本分享

    实用自动化运维Python脚本分享

    今天小编就为大家分享一篇实用自动化运维Python脚本。具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06
  • 多场景下的Pandas使用技巧分享

    多场景下的Pandas使用技巧分享

    这篇文章主要介绍了多场景下的Pandas使用技巧,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-02-02
  • 利用Python将时间或时间间隔转为ISO 8601格式方法示例

    利用Python将时间或时间间隔转为ISO 8601格式方法示例

    国际标准化组织的国际标准ISO8601是日期和时间的表示方法,全称为《数据存储和交换形式·信息交换·日期和时间的表示方法》,下面这篇文章主要给大家介绍了关于利用Python将时间或时间间隔转为ISO 8601格式的相关资料,需要的朋友可以参考下。
    2017-09-09
  • Python 从相对路径下import的方法

    Python 从相对路径下import的方法

    今天小编就为大家分享一篇Python 从相对路径下import的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • windows下python连接oracle数据库

    windows下python连接oracle数据库

    这篇文章主要为大家详细介绍了windows下python连接oracle数据库,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-06-06
  • Python基础教程之if判断,while循环,循环嵌套

    Python基础教程之if判断,while循环,循环嵌套

    这篇文章主要介绍了Python基础教程之if判断,while循环,循环嵌套 的相关知识,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-04-04
  • Python使用Spire.XLS for Python轻松实现Excel转PDF的完整指南

    Python使用Spire.XLS for Python轻松实现Excel转PDF的完整指南

    在日常办公和数据处理中,我们经常需要将 Excel 文档转换为 PDF 格式,今天我们将介绍如何使用 Spire.XLS for Python 库来实现 Excel 到 PDF 的高效转换,有需要的可以了解下
    2025-10-10
  • Python multiprocessing多进程原理与应用示例

    Python multiprocessing多进程原理与应用示例

    这篇文章主要介绍了Python multiprocessing多进程原理与应用,结合实例形式详细分析了基于multiprocessing包的多进程概念、原理及相关使用操作技巧,需要的朋友可以参考下
    2019-02-02

最新评论