python之如何进行去重问题

 更新时间:2023年06月17日 15:32:25   作者:晚风吹儿  
这篇文章主要介绍了python之如何进行去重问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

python如何进行去重

自定义函数去重

解析思路:

  • 1、确定去重目标
  • 2、给一个空列表去接收去重后的元素
  • 3、遍历需要去重的序列,将重复数据过滤
  • 4、打印去重后的数据
l = [1,1,3,2,2,3,4,2,5]
new = []
for i in l:
    if i not in new:
        new.append(i)
print(new)

输出结果:

[1, 3, 2, 4, 5]

内置函数去重

l = [1,1,3,2,2,3,4,2,5]
b = list(set(l))
print(b)

输出结果:

[1, 2, 3, 4, 5]

可以看出去重后改变了序列的顺序,所以去重后需要按元素索引进行排序,才会保持序列的原有顺序

代码如下:

l = [1,1,3,2,2,3,4,2,5]
a = list(set(l))
a.sort(key=l.index)
print(a)

输出结果:

[1, 3, 2, 4, 5]

python列表常见的5种去重方式

列表去重在python实际运用中,十分常见,也是最基础的重点知识。

以下总结了5种常见的列表去重方法

一、使用for循环实现列表去重

  • 此方法去重后,原顺序保持不变。
# for循环实现列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = []
for l1 in list1:
    if l1 not in list2:
        list2.append(l1)
print(list2)

结果:[‘a’, ‘b’, 1, 3, 9]

二、使用列表推导式去重

  • 此方法去重后,原顺序保持不变。
# 使用列表推导式去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
res = []
[res.append(i) for i in list1 if i not in res]
print(res)

结果:[‘a’, ‘b’, 1, 3, 9]

三、使用集合转换函数set()实现列表去重

  • 原理:同一个集合的元素之间是不允许重复的
# set()列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = list(set(list1))
print(list2)

结果:[1, 3, 9, ‘b’, ‘a’]

问题:使用set()函数去重后,会自动排序,则原列表的顺序会发生改变

解决办法有2种:

  • 第一种方法,使用sort()方法
# # 第一种方法,sort()
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = list(set(list1))
list2.sort(key=list1.index)
print(list2)

结果:[‘a’, ‘b’, 1, 3, 9]

注:sort()方法没有返回值,对列表元素进行原地排序

  • 第二种方法,使用sorted()函数
# 第二种方法,sored()
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = sorted(list(set(list1)), key=list1.index)
print(list2)

结果:[‘a’, ‘b’, 1, 3, 9]

注:python内置函数sorted()函数返回新的列表,并不对原列表做任何修改

四、使用新建字典方式实现列表去重

  • 原理:字典的"键"是不允许重复的
  • 此方法去重后,原来顺序保持不变。
# 使用新建字典实现列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
dic = {}
dic = dic.fromkeys(list1).keys()
print(list(dic))

结果:[‘a’, ‘b’, 1, 3, 9]

五、删除列表中存在重复的数据

  • 上面的4种去重方法,都是保留一个,删除其他
  • 下面这种方法则是,只要存在重复,一个都不保留
# 删除存在重复的值,不保留
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = [i for i in list1 if list1.count(i) == 1]
print(list2)

结果:[‘b’, 1, 3]

好了,这就是关于列表去重的5种方法,可以根据需求选择对应的方法。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python中八种数据导入方法总结

    Python中八种数据导入方法总结

    数据分析过程中,需要对获取到的数据进行分析,往往第一步就是导入数据。导入数据有很多方式,不同的数据文件需要用到不同的导入方式,相同的文件也会有几种不同的导入方式。下面总结几种常用的文件导入方法
    2022-11-11
  • 一文带你深入理解python中pytest-repeat插件的工作原理

    一文带你深入理解python中pytest-repeat插件的工作原理

    这篇文章主要和大家一起深入探讨到底pytest_repeat插件的具体功能是如何实现的呢,相信具体了解了该插件,其他三方插件也可以很快了解它内部运行机制,所以本文详细讲解了python pytest-repeat插件的工作原理,需要的朋友可以参考下
    2023-09-09
  • Python系统公网私网流量监控实现流程

    Python系统公网私网流量监控实现流程

    这篇文章主要介绍了Python系统公网私网流量监控实现流程,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-11-11
  • python sys模块使用方法介绍

    python sys模块使用方法介绍

    sys模块功能多,我们这里介绍一些比较实用的功能,相信你会喜欢的,和我一起走进python的模块吧
    2023-01-01
  • Python分布式进程中你会遇到的问题解析

    Python分布式进程中你会遇到的问题解析

    这篇文章主要介绍了Python分布式进程中你会遇到的问题,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-05-05
  • 使用Python实现文本转语音(TTS)并播放音频

    使用Python实现文本转语音(TTS)并播放音频

    在开发涉及语音交互或需要语音提示的应用时,文本转语音(TTS)技术是一个非常实用的工具,下面我们来看看如何使用gTTS和playsound库将文本转换为语音并播放音频文件吧
    2025-03-03
  • 在PyCharm中打包Python项目并将其运行到服务器上的方法(推荐)

    在PyCharm中打包Python项目并将其运行到服务器上的方法(推荐)

    在PyCharm中打包Python项目并运行到服务器上,主要步骤包括:创建并设置项目、编写项目代码、打包项目、配置服务器环境、上传可执行文件到服务器以及运行项目,通过这些步骤,可以将Python项目打包并部署到服务器上
    2024-11-11
  • python基础教程之简单入门说明(变量和控制语言使用方法)

    python基础教程之简单入门说明(变量和控制语言使用方法)

    这篇文章主要介绍了开始学习python的第一步需要知道的知识(变量和控制语言使用方法),需要的朋友可以参考下
    2014-03-03
  • Python统计序列和文件中元素的频度

    Python统计序列和文件中元素的频度

    这篇文章主要介绍了Python统计序列和文件中元素的频度,文章基于python的相关资料展开详细的内容介绍,具有一定的参考价值需要的小伙伴可以参考一下
    2022-04-04
  • 在Python中使用__slots__方法的详细教程

    在Python中使用__slots__方法的详细教程

    这篇文章主要介绍了在Python中使用__slots__方法的详细教程,__slots__方法是Python的一个重要内置类方法,代码基于Python2.x版本,需要的朋友可以参考下
    2015-04-04

最新评论