python之如何进行去重问题

 更新时间:2023年06月17日 15:32:25   作者:晚风吹儿  
这篇文章主要介绍了python之如何进行去重问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

python如何进行去重

自定义函数去重

解析思路:

  • 1、确定去重目标
  • 2、给一个空列表去接收去重后的元素
  • 3、遍历需要去重的序列,将重复数据过滤
  • 4、打印去重后的数据
l = [1,1,3,2,2,3,4,2,5]
new = []
for i in l:
    if i not in new:
        new.append(i)
print(new)

输出结果:

[1, 3, 2, 4, 5]

内置函数去重

l = [1,1,3,2,2,3,4,2,5]
b = list(set(l))
print(b)

输出结果:

[1, 2, 3, 4, 5]

可以看出去重后改变了序列的顺序,所以去重后需要按元素索引进行排序,才会保持序列的原有顺序

代码如下:

l = [1,1,3,2,2,3,4,2,5]
a = list(set(l))
a.sort(key=l.index)
print(a)

输出结果:

[1, 3, 2, 4, 5]

python列表常见的5种去重方式

列表去重在python实际运用中,十分常见,也是最基础的重点知识。

以下总结了5种常见的列表去重方法

一、使用for循环实现列表去重

  • 此方法去重后,原顺序保持不变。
# for循环实现列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = []
for l1 in list1:
    if l1 not in list2:
        list2.append(l1)
print(list2)

结果:[‘a’, ‘b’, 1, 3, 9]

二、使用列表推导式去重

  • 此方法去重后,原顺序保持不变。
# 使用列表推导式去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
res = []
[res.append(i) for i in list1 if i not in res]
print(res)

结果:[‘a’, ‘b’, 1, 3, 9]

三、使用集合转换函数set()实现列表去重

  • 原理:同一个集合的元素之间是不允许重复的
# set()列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = list(set(list1))
print(list2)

结果:[1, 3, 9, ‘b’, ‘a’]

问题:使用set()函数去重后,会自动排序,则原列表的顺序会发生改变

解决办法有2种:

  • 第一种方法,使用sort()方法
# # 第一种方法,sort()
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = list(set(list1))
list2.sort(key=list1.index)
print(list2)

结果:[‘a’, ‘b’, 1, 3, 9]

注:sort()方法没有返回值,对列表元素进行原地排序

  • 第二种方法,使用sorted()函数
# 第二种方法,sored()
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = sorted(list(set(list1)), key=list1.index)
print(list2)

结果:[‘a’, ‘b’, 1, 3, 9]

注:python内置函数sorted()函数返回新的列表,并不对原列表做任何修改

四、使用新建字典方式实现列表去重

  • 原理:字典的"键"是不允许重复的
  • 此方法去重后,原来顺序保持不变。
# 使用新建字典实现列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
dic = {}
dic = dic.fromkeys(list1).keys()
print(list(dic))

结果:[‘a’, ‘b’, 1, 3, 9]

五、删除列表中存在重复的数据

  • 上面的4种去重方法,都是保留一个,删除其他
  • 下面这种方法则是,只要存在重复,一个都不保留
# 删除存在重复的值,不保留
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = [i for i in list1 if list1.count(i) == 1]
print(list2)

结果:[‘b’, 1, 3]

好了,这就是关于列表去重的5种方法,可以根据需求选择对应的方法。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python实现bilibili时间长度查询的示例代码

    Python实现bilibili时间长度查询的示例代码

    这篇文章主要介绍了Python实现bilibili时间长度查询的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-01-01
  • Python3的unicode编码转换成中文的问题及解决方案

    Python3的unicode编码转换成中文的问题及解决方案

    这篇文章主要介绍了Python3的unicode编码转换成中文的问题及解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • python 垃圾收集机制的实例详解

    python 垃圾收集机制的实例详解

    这篇文章主要介绍了 python 垃圾收集机制的实例详解的相关资料,希望通过本文能帮助大家理解这部分内容,需要的朋友可以参考下
    2017-08-08
  • python使用百度文字识别功能方法详解

    python使用百度文字识别功能方法详解

    在本篇文章里小编给大家整理的是关于python怎么使用百度文字识别功能的相关知识点,有兴趣的朋友们参考下。
    2019-07-07
  • python实现PID温控算法的示例代码

    python实现PID温控算法的示例代码

    PID算法是一种常用的控制算法,用于调节和稳定控制系统的输出,这篇文章主要为大家详细介绍了如何使用Python实现pid温控算法,需要的可以参考下
    2024-01-01
  • Python Django 前后端分离 API的方法

    Python Django 前后端分离 API的方法

    今天小编就为大家分享一篇Python Django 前后端分离 API的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • Python日期格式和字符串格式相互转换的方法

    Python日期格式和字符串格式相互转换的方法

    这篇文章主要介绍了Python日期格式和字符串格式相互转换的方法,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-02-02
  • 使用Python横向合并excel文件的实例

    使用Python横向合并excel文件的实例

    今天小编就为大家分享一篇使用Python横向合并excel文件的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • Python实现自动定时登录校园网

    Python实现自动定时登录校园网

    这篇文章主要和大家分享一个Python自动定时登录校园网的脚步,这样就不用自己手动去登录,文中的示例代码简洁易懂,需要的可以参考一下
    2023-06-06
  • Pandas如何获取数据的尺寸信息

    Pandas如何获取数据的尺寸信息

    这篇文章主要介绍了Pandas如何获取数据的尺寸信息问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-02-02

最新评论