当前位置:主页 > python教程 >

python实现字符串加密 生成唯一固定长度字符串

发布:2022-10-09 08:54:45 200


本站收集了一篇python相关的编程文章,网友勾小芬根据主题投稿了本篇教程内容,涉及到python、字符串、加密相关内容,已被804网友关注,涉猎到的知识点内容可以在下方电子书获得。

背景

有时候爬虫爬过的url需要进行指纹核对,比如Scrapy就是进行指纹核对,如果是指纹重复则不再爬取。当然在入库的时候我还是需要做一次核对,否则如果爬虫有漏掉,进入数据库就不合适了。

思路

根据Scrapy的指纹生成方式,这次的指纹生成方式也是用hash的MD5对目标URL进行加密,生成固定长度的字符串,然后在数据库里面将字段设置成unique,这样的话在保证url固定长度的情况下还能够保证入库后的唯一性,进最大努力避免出现重复的数据。

指纹生成代码

新建一个文件,然后在里面编写指纹生成的方法,在使用的时候from import进来,调用方法即可。代码为:

import hashlib
 
def get_md5(url):
 """
 由于hash不处理unicode编码的字符串(python3默认字符串是unicode)
  所以这里判断是否字符串,如果是则进行转码
  初始化md5、将url进行加密、然后返回加密字串
 """
 if isinstance(url, str):
  url = url.encode("utf-8")
 md = hashlib.md5()
 md.update(url)
 return md.hexdigest()

为了验证代码的可用性,再加上代码:

if __name__ == "__main__":
 urls = "http://www.baidus.com"
 print(get_md5(urls))

在本地运行无误,再把下面这串删除。等到调用的时候from import get_md5把文件和方法引入,就可以使用了

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持码农之家。


参考资料

相关文章

  • python Pygame的具体使用讲解

    python Pygame的具体使用讲解

    发布:2022-09-06

    给大家整理一篇关于python的教程,本篇文章主要介绍了python Pygame的具体使用讲解,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧


  • Python实现区域填充的示例代码

    发布:2021-09-26

    这篇文章主要介绍了Python实现区域填充的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧


  • 修改默认的pip版本为对应python2.7的实例详解

    发布:2019-09-11

    今天小编就为大家分享一篇修改默认的pip版本为对应python2.7的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧


  • python中twisted实例用法

    发布:2020-01-20

    这篇文章主要介绍了python 编程之twisted详解及简单实例的相关资料,需要的朋友可以参考下


  • python绘制漏斗图实例方法

    发布:2019-12-18

    在本文里我们给大家整理了关于python绘制漏斗图的相关知识点以及具体步骤,有需要的朋友们跟着学习下。


  • python range()函数取反序遍历sequence的实例讲解

    发布:2021-05-10

    今天小编就为大家分享一篇python range()函数取反序遍历sequence的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧


  • python matplotlib实现双Y轴的实例

    python matplotlib实现双Y轴的实例

    发布:2022-06-14

    给大家整理一篇关于python的教程,今天小编就为大家分享一篇python matplotlib实现双Y轴的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧


网友讨论