python实现字符串加密 生成唯一固定长度字符串
更新时间：2019年03月22日 08:09:24 作者：中乘风
这篇文章主要为大家详细介绍了python实现字符串加密，生成唯一固定长度字符串，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
背景
有时候爬虫爬过的url需要进行指纹核对，比如Scrapy就是进行指纹核对，如果是指纹重复则不再爬取。当然在入库的时候我还是需要做一次核对，否则如果爬虫有漏掉，进入数据库就不合适了。
思路
根据Scrapy的指纹生成方式，这次的指纹生成方式也是用hash的MD5对目标URL进行加密，生成固定长度的字符串，然后在数据库里面将字段设置成unique，这样的话在保证url固定长度的情况下还能够保证入库后的唯一性，进最大努力避免出现重复的数据。
指纹生成代码
新建一个文件，然后在里面编写指纹生成的方法，在使用的时候from import进来，调用方法即可。代码为：
import hashlib
def get_md5(url):
"""
由于hash不处理unicode编码的字符串（python3默认字符串是unicode）
所以这里判断是否字符串，如果是则进行转码
初始化md5、将url进行加密、然后返回加密字串
"""
if isinstance(url, str):
url = url.encode("utf-8")
md = hashlib.md5()
md.update(url)
return md.hexdigest()
为了验证代码的可用性，再加上代码：
if __name__ == "__main__": urls = "http://www.baidus.com" print(get_md5(urls))
在本地运行无误，再把下面这串删除。等到调用的时候from import get_md5把文件和方法引入，就可以使用了
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家详细介绍了python实现多层感知器的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-01-01
这篇文章主要介绍了PyTorch中常用的激活函数的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-08-08
这篇文章主要介绍了简洁的十分钟Python入门教程,Python语言本身的简洁也使得网络上各种Python快门入门教程有着很高的人气,本文是国内此类其中的一篇,需要的朋友可以参考下2015-04-04
今天小编就为大家分享一篇在cmd中运行.py文件: python的操作步骤，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
这篇文章主要介绍了Python中._pth文件的作用及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
这篇文章主要介绍了使用python解析获取发往本机的数据包，并打印出来, 大家参考使用吧2014-01-01
这篇文章主要为大家详细介绍了Python是如何实现数据集划分的，分为训练集和测试集，文中的实现方法讲解详细，感兴趣的小伙伴可以了解一下2023-05-05
这篇文章主要介绍了Django的Modelforms用法简介,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
这篇文章主要给大家介绍了关于如何使用python提取字符串中英文的相关资料,主要通过正则re中的sub函数、findall函数以及compile函数判断来实现，需要的朋友可以参考下2021-05-05
这篇文章主要介绍了Python基于scrapy采集数据时使用代理服务器的方法,涉及Python使用代理服务器的技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-04-04
最新评论