python实现字符串加密生成唯一固定长度字符串

更新时间：2019年03月22日 08:09:24 作者：中乘风

这篇文章主要为大家详细介绍了python实现字符串加密，生成唯一固定长度字符串，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

背景

有时候爬虫爬过的url需要进行指纹核对，比如Scrapy就是进行指纹核对，如果是指纹重复则不再爬取。当然在入库的时候我还是需要做一次核对，否则如果爬虫有漏掉，进入数据库就不合适了。

思路

根据Scrapy的指纹生成方式，这次的指纹生成方式也是用hash的MD5对目标URL进行加密，生成固定长度的字符串，然后在数据库里面将字段设置成unique，这样的话在保证url固定长度的情况下还能够保证入库后的唯一性，进最大努力避免出现重复的数据。

指纹生成代码

新建一个文件，然后在里面编写指纹生成的方法，在使用的时候from import进来，调用方法即可。代码为：

import hashlib
 
def get_md5(url):
 """
 由于hash不处理unicode编码的字符串（python3默认字符串是unicode）
  所以这里判断是否字符串，如果是则进行转码
  初始化md5、将url进行加密、然后返回加密字串
 """
 if isinstance(url, str):
  url = url.encode("utf-8")
 md = hashlib.md5()
 md.update(url)
 return md.hexdigest()

为了验证代码的可用性，再加上代码：

if __name__ == "__main__":
 urls = "http://www.baidus.com"
 print(get_md5(urls))

在本地运行无误，再把下面这串删除。等到调用的时候from import get_md5把文件和方法引入，就可以使用了

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

python 异常处理总结
这篇文章主要介绍了python 异常的相关资料，并整理了相关异常资料，需要的朋友可以参考下
2016-10-10
Python3 tkinter 实现文件读取及保存功能
tkinter是一个跨平台的GUI库，开发的程序可以在win，linux或者mac下运行，tkinter是python自带的GUI库，是对图形库TK的封装。本文通过实例代码给大家介绍Python3 tkinter 实现文件读取及保存功能，感兴趣的朋友跟随小编一起看看吧
2019-09-09
python实现列表的排序方法分享
在本篇文章里小编给大家分享了关于python实现列表的排序方法以及相关知识点，有兴趣的朋友们可以学习下。
2019-07-07
解决python中安装serial及No module named ‘serial.too
这篇文章主要介绍了解决python中安装serial及No module named ‘serial.tools‘等问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-09-09
Python简单遍历字典及删除元素的方法
这篇文章主要介绍了Python简单遍历字典及删除元素的方法,结合实例形式分析了Python遍历字典删除元素的操作方法与相关注意事项,需要的朋友可以参考下
2016-09-09
OpenCV实现图像滤波之双边滤波
这篇文章主要为大家详细介绍了OpenCV实现图像滤波之双边滤波，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-10-10
Python sklearn 中的 make_blobs() 函数示例详解
make_blobs() 是 sklearn.datasets中的一个函数，这篇文章主要介绍了Python sklearn 中的 make_blobs() 函数,本文结合实例代码给大家介绍的非常详细，需要的朋友可以参考下
2023-02-02
Python爬虫库BeautifulSoup的介绍与简单使用实例
BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库，本文为大家介绍下Python爬虫库BeautifulSoup的介绍与简单使用实例其中包括了，BeautifulSoup解析HTML，BeautifulSoup获取内容，BeautifulSoup节点操作，BeautifulSoup获取CSS属性等实例
2020-01-01
Python 中下划线的几种用法（_、_xx、xx_、__xx、__xx__）
本文主要介绍了Python 中下划线的几种用法（_、_xx、xx_、__xx、__xx__）,详细的介绍了这几种下划线的用处,具有一定的参考价值,感兴趣的可以了解一下
2023-09-09
Python wxPython库使用wx.ListBox创建列表框示例
这篇文章主要介绍了Python wxPython库使用wx.ListBox创建列表框,结合实例形式分析了wxPython库使用wx.ListBox创建列表框的简单实现方法及ListBox函数相关选项的功能,需要的朋友可以参考下
2018-09-09