python set()去重的底层原理及实例
set是什么？
数学上，把set称做由不同的元素组成的集合，集合（set）的成员通常被称做集合元素（set elements）。Python把这个概念引入到它的集合类型对象里。集合对象是一组无序排列的可哈希的值。集合关系测试和union、intersection等操作符在Python里也同样如我们所预想地那样工作。
set特点
集合的元素有三个特征：
1.确定性：集合中的元素必须是确定的；
2.互异性：集合中的元素互不相同，如：集合A={1，a}，则a不能等于1）；
3.无序性：集合中的元素没有先后之分，如：{3,4,5}和{3,5,4}算作同一个集合。
python中集合（set）是一个无序不重复元素的集，基本功能包括关系测试和消除重复元素，还可以计算交集、差集、并集等，它与列表（list）的行为类似，区别在于set不同包括重复的值，而且set元素是无序的。
在python中可以用大括号 {} 创建集合。注意：如果要创建或初始化一个空集合，你必须用 set() 而不是 {} 。因为后者{} 作为创建一个空的字典，以后我们会介绍字典这种数据结构。
一、set去重简单实例
ls = [1,2,3,1,2] print(set(ls))
我们知道对于一个列表最简单的去重方法就是直接调用set函数，利用集合元素的唯一性，就可以做到去重。但是，这个底层原理究竟是什么样的却一直半解。
且看下面剖析
二、重新set实现机制
class Foo:
def __init__(self,name,count):
self.name = name
self.count = count
def __hash__(self):
print("%s调用了哈希方法"%self.name)
return hash(id(self))
def __eq__(self, other):
print("%s调用了eq方法")
if self.__dict__ == other.__dict__:
return True
else:return False
f1 = Foo('f1',1)
f2 = Foo('f2',2)
f3 = Foo('f3',3)
ls = [f1,f2,f3]
print(set(ls))
从上面可以看出，set方法就是去调用hash方法，然后根据哈希值一不一样就行去重判断，但是事实就是样吗？且看下面程序。
class Foo:
def __init__(self,name,count):
self.name = name
self.count = count
def __hash__(self):
print("%s调用了哈希方法"%self.name)
return hash(self.count)
def __eq__(self, other):
print("%s调用了eq方法"%self.name)
return self.__dict__ == other.__dict__
f1 = Foo('f1',1)
f2 = Foo('f2',1)
f3 = Foo('f3',3)
ls = [f1,f2,f3]
print(set(ls))
我看可以看出，实际上f1,f3的哈希值是相等的，但是set并没有这么简单就判断f1,f3是重复的，而是进一步通过eq方法判断这两个值是否相等，只有相等时才会认为这两个之间实际上是同一个。为了验证上面的说法，我们来看看下面的代码。
f1 = Foo('f1',1)
f2 = Foo('f1',1)
f3 = Foo('f3',3)
ls = [f1,f2,f3]
print(set(ls))
可以看出去重后，只有两个元素，所以上面说法得证。
三、结论
set的去重是通过两个函数__hash__和__eq__结合实现的。
1、当两个变量的哈希值不相同时，就认为这两个变量是不同的
2、当两个变量哈希值一样时，调用__eq__方法，当返回值为True时认为这两个变量是同一个，应该去除一个。返回FALSE时，不去重
四、应用场景需求
有一个公司，现有100个员工，由于数据库不完善，使用时间比较长，里面有很多重复数据需要清除。具体需求如下：
每个员工的属性有：姓名，性别，年龄，部门。 由于年龄和部门都会发生变化，所以现在认为只要两个员工之间姓名和性别一样，就认为是同一个人。
请实现员工去重：
class Staff:
def __init__(self,name,gender,age,department):
self.name = name
self.gender = gender
self.age = age
self.department = department
def __hash__(self):
return hash(self.name+self.gender)
def __eq__(self, other):
return True
ls = ['zs','ls','ww','zq']
gender_list = ['man','femal']
staff_list = []
for i in range(100):
staff_list.append(Staff(ls[i%4],gender_list[i%2],i,'class'))
print(set(staff_list))
print([(i.name,i.gender) for i in set(staff_list)])到此这篇关于python set()去重的底层原理的文章就介绍到这了,更多相关python set()去重内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了在Python程序中操作文件之flush()方法的使用教程,是Python入门学习中的基础知识,需要的朋友可以参考下2015-05-05
在处理数据的时候,需要对数据进行一个清洗过程,本文就来介绍一下Pandas数据清洗的实现,具有一定的参考价值,感兴趣的可以了解一下2023-11-11
python对属性权限的控制是通过属性名来实现的,下面这篇文章主要给大家介绍了关于Python如何获取模块中类以及类的属性方法信息的相关资料,需要的朋友可以参考下2021-12-12
这篇文章主要介绍了如何利用Python中的Pygame模块实现代码雨效果，文中通过示例代码介绍的非常详细，感兴趣的朋友们下面随着小编来一起学习学习吧2022-03-03
这篇文章主要介绍了python实现本地批量ping多个IP的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-08-08
这篇文章主要为大家详细介绍了如何使用pandas和openpyxl库对多个Excel文件进行多种处理的方法,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下2025-02-02
这篇文章主要介绍了Django中对通过测试的用户进行限制访问的方法,Django是众多Python高人气web框架中最为著名的一个,需要的朋友可以参考下2015-07-07
python的random库，提供了很多随机抽样方法。本文将通过几个示例为大家详细讲讲random模块实现随机抽样的方法，需要的可以参考一下2022-09-09
schema 是一个简单而强大的库,用于定义和验证 Python 数据结构的约束,使用 schema 库来执行数据结构的校验,本文给大家介绍Python 中的Schema数据结构及类型校验,感兴趣的朋友一起看看吧2023-11-11
随机相对强弱指数简称为StochRSI，是一种技术分析指标，用于确定资产是否处于超买或超卖状态，也用于确定当前市场的态势。本篇文章小编九来为大家介绍随机相对强弱指数简称为StochRSI,需要的朋友可以参考下面文章的具体内容2021-09-09
最新评论