python user-agent如何反爬虫

  • 更新时间:2021-07-11 09:08:03
  • 编辑:满晶辉
本站精选了一篇相关的编程文章,网友糜逸致根据主题投稿了本篇教程内容,涉及到Python相关内容,已被718网友关注,下面的电子资料对本篇知识点有更加详尽的解释。

参考资料

正文内容

《python user-agent如何反爬虫》是一篇值得学习的技术文章,感觉很有用处,增加了更多实例内容,希望大家能有所收获。

python user-agent如何反爬虫

1、说明

user-agent:是识别浏览器的一串字符串,相当于浏览器的身份证,在利用爬虫爬取网站数据时,频繁更换User-agent可以避免触发相应的反爬机制。

2、安装

需要就用到了fake-useragent包,直接在anaconda控制台安装fake-useragent包即可;

3、实例

form fake-useragent import UserAgent
 
ua = UserAgent()
headers = {
    'User-Agent' : ua.random #随机生成一个UserAgent
}
url = 'https://www.baidu.com/'
page = requests.get(url, headers=headers)

以上就是python user-agent反爬虫的方法,希望对大家有所帮助。

相关教程

  • python为什么要用class

    Python从设计之初就已经是一门面向对象的语言,而面向对象编程方式需要使用 “类” (class)和 “对象” 来实现。

    发布时间:2019-08-27

  • Python学习法则

    Python上手很容易, 基本有其他语言编程经验的人可以在1周内学会Python最基本的内容.它们包括:1.常用内置类型(int, float, bool, bytes, str, list, dict, set)的使用.2.分支if-else 循环while 迭代for的语法.3.def定

    发布时间:2019-07-11

用户留言