python中对list去重的多种方法
更新时间：2014年09月18日 13:20:13 投稿：junjie
这篇文章主要介绍了python中对list去重的多种方法,本文去重的前提是要保证顺序不变,本文给出了多种实现方法,需要的朋友可以参考下
今天遇到一个问题，在同事随意的提示下，用了 itertools.groupby 这个函数。不过这个东西最终还是没用上。
问题就是对一个list中的新闻id进行去重，去重之后要保证顺序不变。
直观方法
最简单的思路就是：
复制代码 代码如下:
ids = [1,2,3,3,4,2,3,4,5,6,1]
news_ids = []
for id in ids:
if id not in news_ids:
news_ids.append(id)
print news_ids
这样也可行，但是看起来不够爽。
用set
另外一个解决方案就是用set：
复制代码 代码如下:
ids = [1,4,3,3,4,2,3,4,5,6,1]
ids = list(set(ids))
这样的结果是没有保持原来的顺序。
按照索引再次排序
最后通过这种方式解决：
复制代码 代码如下:
ids = [1,4,3,3,4,2,3,4,5,6,1]
news_ids = list(set(ids))
news_ids.sort(ids.index)
使用itertools.grouby
文章一开始就提到itertools.grouby, 如果不考虑列表顺序的话可用这个：
复制代码 代码如下:
ids = [1,4,3,3,4,2,3,4,5,6,1]
ids.sort()
it = itertools.groupby(ids)
for k, g in it:
print k
关于itertools.groupby的原理可以看这里：http://docs.python.org/2/library/itertools.html#itertools.groupby
网友补充：用reduce
网友reatlk留言给了另外的解决方案。我补充并解释到这里：
复制代码 代码如下:
In [5]: ids = [1,4,3,3,4,2,3,4,5,6,1]
In [6]: func = lambda x,y:x if y in x else x + [y]
In [7]: reduce(func, [[], ] + ids)
Out[7]: [1, 4, 3, 2, 5, 6]
上面是我在ipython中运行的代码，其中的 lambda x,y:x if y in x else x + [y] 等价于 lambda x,y: y in x and x or x+[y] 。
思路其实就是先把ids变为[[], 1,4,3,......] ,然后在利用reduce的特性。reduce解释参看这里：http://docs.python.org/2/library/functions.html#reduce
相关文章
这篇文章主要为大家介绍了python深度学习tensorflow入门基础教程示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-06-06
这篇文章主要介绍了在Python的Django框架中更新数据库数据,对此Django框架中提供了便利的插入和更新方法,需要的朋友可以参考下2015-07-07
python基础知识之try...except...的详细用法实例
在各种编程语言进行工作和学习的过程中,都会有一些错误异常,下面这篇文章主要给大家介绍了关于python基础知识之try...except...的详细用法,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-08-08
今天小编就为大家分享一篇Python解决线性代数问题之矩阵的初等变换方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要介绍了python中lambda与def用法对比,实例分析了lambda与def的区别与使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了利用python绘制数据曲线图的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
在本文中，我们将深入研究 Python 的内部实现，并了解 Python 如何使用一种名为字符串驻留（String Interning）的技术，实现解释器的高性能。2021-05-05
今天小编就为大家分享一篇用Python实现校园通知更新提醒功能，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
这篇文章主要介绍了python数据处理详情，文章通过json文件的一个数据表展开对主题的详细说明，具有一定的参考价值需要的小伙伴可以参考一下2022-04-04
本篇文章主要介绍了Django中使用celery完成异步任务的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-01-01
最新评论