python使用time.sleep设置时间间隔

  • 更新时间:2021-06-22 11:04:19
  • 编辑:杨香薇
本站收集了一篇相关的编程文章,网友糜成益根据主题投稿了本篇教程内容,涉及到Python相关内容,已被681网友关注,涉猎到的知识点内容可以在下方电子书获得。

参考资料

正文内容

我们整理一篇关于《python使用time.sleep设置时间间隔》技术文章,实例用法很详细,重新编辑了一下发到本站,希望大家能有所收获。

python使用time.sleep设置时间间隔

1、说明

由于原本爬虫可能会对对方网站造成访问负荷压力,因此这种预防措施不仅能在一定程度上防止被封,而且能减轻网站的访问压力。假如访问太频繁,一些网站会直接关闭IP,让你再也不能访问它的数据。因此,为了安全起见,最好设定睡眠时间。

爬取时只需要添加到循环中。

2、实例

import time
import random
time.sleep(random.randint(5,10))
#具体的随机数,可以自行设置,太小的话,作用不大,太大的话,代码运行时间会加长;

许多站点的反爬虫机制都设定了访问间隔时间,一个IP如果在短时间内超过指定次数就会进入冷却CD,因此,除了转换IP和user_agent之外,是可以设定访问间隔时间解决的。

以上就是python使用time.sleep设置时间间隔的方法,希望对大家有所帮助。

相关教程

用户留言