python实现字符串加密 生成唯一固定长度字符串

 更新时间:2019年03月22日 08:09:24   作者:中乘风   我要评论
这篇文章主要为大家详细介绍了python实现字符串加密,生成唯一固定长度字符串,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

背景

有时候爬虫爬过的url需要进行指纹核对,比如Scrapy就是进行指纹核对,如果是指纹重复则不再爬取。当然在入库的时候我还是需要做一次核对,否则如果爬虫有漏掉,进入数据库就不合适了。

思路

根据Scrapy的指纹生成方式,这次的指纹生成方式也是用hash的MD5对目标URL进行加密,生成固定长度的字符串,然后在数据库里面将字段设置成unique,这样的话在保证url固定长度的情况下还能够保证入库后的唯一性,进最大努力避免出现重复的数据。

指纹生成代码

新建一个文件,然后在里面编写指纹生成的方法,在使用的时候from import进来,调用方法即可。代码为:

import hashlib
 
def get_md5(url):
 """
 由于hash不处理unicode编码的字符串(python3默认字符串是unicode)
  所以这里判断是否字符串,如果是则进行转码
  初始化md5、将url进行加密、然后返回加密字串
 """
 if isinstance(url, str):
  url = url.encode("utf-8")
 md = hashlib.md5()
 md.update(url)
 return md.hexdigest()

为了验证代码的可用性,再加上代码:

if __name__ == "__main__":
 urls = "http://www.baidus.com"
 print(get_md5(urls))

在本地运行无误,再把下面这串删除。等到调用的时候from import get_md5把文件和方法引入,就可以使用了

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • Python实现压缩文件夹与解压缩zip文件的方法

    Python实现压缩文件夹与解压缩zip文件的方法

    这篇文章主要介绍了Python实现压缩文件夹与解压缩zip文件的方法,涉及Python使用zipfile模块进行zip文件压缩与解压缩相关操作技巧,需要的朋友可以参考下
    2018-09-09
  • Linux下通过python获取本机ip方法示例

    Linux下通过python获取本机ip方法示例

    这篇文章主要给大家介绍了关于在Linux下通过python获取本机ip的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-09-09
  • 利用Python+Java调用Shell脚本时的死锁陷阱详解

    利用Python+Java调用Shell脚本时的死锁陷阱详解

    这篇文章主要给大家介绍了关于利用Python+Java调用Shell脚本时的死锁陷阱的相关资料,文章通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
    2018-01-01
  • python实现SMTP邮件发送功能

    python实现SMTP邮件发送功能

    这篇文章主要为大家详细介绍了python实现SMTP邮件发送功能的相关资料,感兴趣的朋友可以参考一下
    2016-05-05
  • Django框架中方法的访问和查找

    Django框架中方法的访问和查找

    这篇文章主要介绍了Django框架中方法的访问和查找,包括各种列表和字典的查找,是Python的Django框架使用的必备技巧,需要的朋友可以参考下
    2015-07-07
  • 小白如何入门Python? 制作一个网站为例

    小白如何入门Python? 制作一个网站为例

    以制作一个网站为例,聊一聊小白如何入门Python,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-03-03
  • Web服务器框架 Tornado简介

    Web服务器框架 Tornado简介

    Tornado Web Server 是使用Python编写出來的一个极轻量级、高可伸缩性和非阻塞IO的Web服务器软件,著名的 Friendfeed 网站就是使用它搭建的。
    2014-07-07
  • Python字符串匹配算法KMP实例

    Python字符串匹配算法KMP实例

    这篇文章主要介绍了Python字符串匹配算法KMP实现方法,实例分析了Python针对字符串操作的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-07-07
  • python内存动态分配过程详解

    python内存动态分配过程详解

    这篇文章主要介绍了python内存动态分配过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-07-07
  • Python实现简单多线程任务队列

    Python实现简单多线程任务队列

    本文给大家介绍的是使用很简单的代码实现的多线程任务队列,给大家一个思路,希望对大家学习python能够有所帮助
    2016-02-02

最新评论