Python对list列表进行去重的几种方法
更新时间：2024年10月25日 08:53:03 作者：matrixlzp
python 列表就是我们js中的数组了,我们下文整理几个常用的python 列表去重实现方法,非常的简单好用,通过代码示例讲解的非常详细,具有一定的参考价值,需要的朋友可以参考下
在 Python 中，可以使用以下几种方法对列表进行去重：
一、使用集合（set）转换再转回列表
这种方法简单快捷，但会改变列表中元素的顺序，因为集合是无序的。
如果按列表原来的顺序，输出应该是 [5, 4, 3, 2, 1]，结果是 [1, 2, 3, 4, 5]
my_list = [5, 4, 4, 3, 4, 3, 2, 1, 5] unique_list = list( set(my_list) ) print(unique_list)
运行：
二、使用字典的键去重并保留顺序 (推荐)
my_list = [5, 4, 4, 3, 4, 3, 2, 1, 5]
unique_list = list( {}.fromkeys(my_list).keys() )
print(unique_list)运行：
三、使用循环和临时列表
空间占用多
my_list = [5, 4, 4, 3, 4, 3, 2, 1, 5]
unique_list = []
for item in my_list:
if item not in unique_list:
unique_list.append( item )
print(unique_list)
四、使用OrderedDict（Python 3.6 之前字典不保证顺序，较早版本的 Python 使用这种方法）
from collections import OrderedDict my_list = [5, 4, 4, 3, 4, 3, 2, 1, 5] unique_list = list( OrderedDict.fromkeys(my_list) ) print(unique_list)
五、实战案例
假设有这么一个列表 ['厦门中山路', '厦门医学院', '厦门鼓浪屿', '厦门软件园']
希望找出列表中的中文分词，并输出无重复分词。
输出：
['厦门', '中山路', '医学院', '鼓浪屿', '软件园']
import jieba
words = ['厦门中山路', '厦门医学院', '厦门鼓浪屿', '厦门软件园']
unique_list = []
for word in words:
# 分词
unique_list = unique_list +list( jieba.cut(word) )
# 去重
unique_list = list( {}.fromkeys(unique_list).keys() )
print( unique_list )输出：
到此这篇关于Python对list列表进行去重的几种方法的文章就介绍到这了,更多相关Python list列表去重内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了提高python代码运行效率的一些建议，帮助大家优化python代码，提高运行效率，感兴趣的朋友可以了解下2020-09-09
这篇文章主要为大家介绍了Python添加进度条tqdm进阶使用实例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-06-06
PyAudio是Python开源工具包，由名思义，是提供对语音操作的工具包。下面介绍一个好用的处理音频PyAudio工具包。感兴趣的朋友跟随小编一起看看吧2019-06-06
这篇文章主要介绍了Python常见的pandas用法,结合实例形式总结分析了Python使用pandas模块的常见操作技巧与相关注意事项,需要的朋友可以参考下2019-03-03
这篇文章主要介绍了python打包成so文件过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
这篇文章主要给大家介绍了关于Python利用pip安装tar.gz格式的离线资源包的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-09-09
get_dummies函数是Python中的一个函数,用于将分类变量转换为哑变量,下面这篇文章主要介绍了python中get_dummies()用法的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下2025-09-09
在本篇文章里小编给各位分享一篇关于python字典按照value排序方法的相关文章，有兴趣的朋友们可以学习下。2020-12-12
本文主要介绍了Pandas实现转换产生新列,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2024-12-12
这篇文章主要为大家介绍了Java开发者如何快速进修Python指南之网络编程及并发编程实例解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-12-12
最新评论