python set()去重的底层原理及实例

更新时间：2022年01月08日 10:11:18 作者：哟，写bug呢？？

python中集合set是一个无序不重复元素的集，基本功能包括关系测试和消除重复元素，还可以计算交集、差集、并集等，它与列表（list）的行为类似，这篇文章主要介绍了python set()去重的底层原理,需要的朋友可以参考下

set是什么？

数学上，把set称做由不同的元素组成的集合，集合（set）的成员通常被称做集合元素（set elements）。Python把这个概念引入到它的集合类型对象里。集合对象是一组无序排列的可哈希的值。集合关系测试和union、intersection等操作符在Python里也同样如我们所预想地那样工作。

set特点

集合的元素有三个特征：

1.确定性：集合中的元素必须是确定的；

2.互异性：集合中的元素互不相同，如：集合A={1，a}，则a不能等于1）；

3.无序性：集合中的元素没有先后之分，如：{3,4,5}和{3,5,4}算作同一个集合。

python中集合（set）是一个无序不重复元素的集，基本功能包括关系测试和消除重复元素，还可以计算交集、差集、并集等，它与列表（list）的行为类似，区别在于set不同包括重复的值，而且set元素是无序的。

在python中可以用大括号 {} 创建集合。注意：如果要创建或初始化一个空集合，你必须用 set() 而不是 {} 。因为后者{} 作为创建一个空的字典，以后我们会介绍字典这种数据结构。

一、set去重简单实例

ls = [1,2,3,1,2]
print(set(ls))

我们知道对于一个列表最简单的去重方法就是直接调用set函数，利用集合元素的唯一性，就可以做到去重。但是，这个底层原理究竟是什么样的却一直半解。

且看下面剖析

二、重新set实现机制

class Foo:
    def __init__(self,name,count):
        self.name = name
        self.count = count
    def __hash__(self):
        print("%s调用了哈希方法"%self.name)
        return hash(id(self))
    def __eq__(self, other):
        print("%s调用了eq方法")
        if self.__dict__ == other.__dict__:
            return True
        else:return False
f1 = Foo('f1',1)
f2 = Foo('f2',2)
f3 = Foo('f3',3)
ls = [f1,f2,f3]
print(set(ls))

从上面可以看出，set方法就是去调用hash方法，然后根据哈希值一不一样就行去重判断，但是事实就是样吗？且看下面程序。

class Foo:
    def __init__(self,name,count):
        self.name = name
        self.count = count
    def __hash__(self):
        print("%s调用了哈希方法"%self.name)
        return hash(self.count)
    def __eq__(self, other):
        print("%s调用了eq方法"%self.name)
        return self.__dict__ == other.__dict__
f1 = Foo('f1',1)
f2 = Foo('f2',1)
f3 = Foo('f3',3)
ls = [f1,f2,f3]
print(set(ls))

我看可以看出，实际上f1,f3的哈希值是相等的，但是set并没有这么简单就判断f1,f3是重复的，而是进一步通过eq方法判断这两个值是否相等，只有相等时才会认为这两个之间实际上是同一个。为了验证上面的说法，我们来看看下面的代码。

f1 = Foo('f1',1)
f2 = Foo('f1',1)
f3 = Foo('f3',3)
ls = [f1,f2,f3]
print(set(ls))

可以看出去重后，只有两个元素，所以上面说法得证。

三、结论

set的去重是通过两个函数__hash__和__eq__结合实现的。
1、当两个变量的哈希值不相同时，就认为这两个变量是不同的
2、当两个变量哈希值一样时，调用__eq__方法，当返回值为True时认为这两个变量是同一个，应该去除一个。返回FALSE时，不去重

四、应用场景需求

有一个公司，现有100个员工，由于数据库不完善，使用时间比较长，里面有很多重复数据需要清除。具体需求如下：

每个员工的属性有：姓名，性别，年龄，部门。由于年龄和部门都会发生变化，所以现在认为只要两个员工之间姓名和性别一样，就认为是同一个人。

请实现员工去重：

class Staff:
    def __init__(self,name,gender,age,department):
        self.name = name
        self.gender = gender
        self.age  = age
        self.department = department
    def __hash__(self):
        return hash(self.name+self.gender)
    def __eq__(self, other):
        return True
ls = ['zs','ls','ww','zq']
gender_list = ['man','femal']
staff_list = []
for i in range(100):
    staff_list.append(Staff(ls[i%4],gender_list[i%2],i,'class'))
print(set(staff_list))
print([(i.name,i.gender) for i in set(staff_list)])

到此这篇关于python set()去重的底层原理的文章就介绍到这了,更多相关python set()去重内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

OpenCV实现直线检测
这篇文章主要为大家详细介绍了OpenCV实现直线检测，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2022-08-08
PyCharm使用教程之搭建Python开发环境
由于python的跨平台性。在windows下和ubuntu下基本上没什么差别。下面从几个不步骤来搭建开发环境。
2016-06-06
python如何按照自己顺序读出文件名
这篇文章主要介绍了python如何按照自己顺序读出文件名问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-08-08
python爬取全国水雨情信息详解
这篇文章主要为大家详细介绍了python爬取全国水雨情信息，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-10-10
python3使用tkinter实现ui界面简单实例
使用tkinter创建一个小窗口，布置2个按钮，一个btn关闭窗口，另一个btn用于切换执行传入的2个函数，简单的小代码，大家参考使用吧
2014-01-01
基于Python实现英语单词小游戏
这篇文章主要为大家详细介绍了如何通过Python实现一个简单的英语单词小游戏，四级考满分的学姐告诉你这样学英语逢考必过，赶紧康康叭
2022-11-11
机器学习、深度学习和神经网络之间的区别和联系
机器学习>神经网络>深度学习≈深度神经网络,机器学习包括了神经网络在内的许多算法,而神经网络又可以分为浅度神经网络和深度神经网络,深度学习是使用了深度神经网络的技术,虽然机器学习、深度学习和神经网络是不同的,但在构建复杂系统时,许多相关概念是混合在一起的
2024-02-02
推荐一款高效的python数据框处理工具Sidetable
这篇文章主要为大家介绍推荐一款高效的python数据框处理工具Sidetable，文章详细的讲解了Sidetable的安装及用法，有需要的朋友可以借鉴参考下，希望能够有所帮助
2021-11-11
解决pytorch rnn 变长输入序列的问题
这篇文章主要介绍了解决pytorch rnn 变长输入序列的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2021-05-05
python Dataframe 合并与去重详情
这篇文章主要介绍了python Dataframe 合并与去重详情，文章围绕主题展开详细的内容介绍，具有一定参考价值，需要的朋友可以参考一下
2022-08-08