标签分类 技术文章:
当前位置:首页 > Python技术文章 > python爬虫怎么识别

python识别爬虫的实例方法

  • 发布时间:
  • 作者:码农之家原创
  • 点击:127

这篇文章主要知识点是关于python爬虫识别验证码、python爬虫难吗 的内容,如果大家想对相关知识点有系统深入的学习,可以参阅以下电子书

Python爬虫开发 从入门到实战
  • 类型:Python爬虫大小:12.33 MB格式:PDF出版:人民邮电出版社作者:谢乾坤
立即下载

更多Python相关的学习资源可以参阅 Python电子书程序设计电子书 等栏目。

python爬虫怎么识别

python爬虫怎么识别

 

1、输入式验证码

这种验证码主要是通过用户输入图片中的字母、数字、汉字等进行验证。如下图

python爬虫怎么识别

 

解决思路:这种是最简单的一种,只要识别出里面的内容,然后填入到输入框中即可。这种识别技术叫OCR,这里我们推荐使用Python的第三方库,tesserocr。对于没有什么背影影响的验证码如图2,直接通过这个库来识别就可以。但是对于有嘈杂的背景的验证码这种,直接识别识别率会很低,遇到这种我们就得需要先处理一下图片,先对图片进行灰度化,然后再进行二值化,再去识别,这样识别率会大大提高。

2.滑动式验证码

python爬虫怎么识别

解决思路:对于这种验证码就比较复杂一点,但也是有相应的办法。我们直接想到的就是模拟人去拖动验证码的行为,点击按钮,然后看到了缺口的位置,最后把拼图拖到缺口位置处完成验证。

第一步:点击按钮。然后我们发现,在你没有点击按钮的时候那个缺口和拼图是没有出现的,点击后才出现,这为我们找到缺口的位置提供了灵感。

第二步:拖到缺口位置。我们知道拼图应该拖到缺口处,但是这个距离如果用数值来表示?通过我们第一步观察到的现象,我们可以找到缺口的位置。这里我们可以比较两张图的像素,设置一个基准值,如果某个位置的差值超过了基准值,那我们就找到了这两张图片不一样的位置,当然我们是从那块拼图的右侧开始并且从左到右,找到第一个不一样的位置时就结束,这是的位置应该是缺口的left,所以我们使用selenium拖到这个位置即可。这里还有个疑问就是如何能自动的保存这两张图?这里我们可以先找到这个标签,然后获取它的location和size,然后 top,bottom,left,right = location['y'] ,location['y']+size['height']+ location['x'] + size['width'] ,然后截图,最后抠图填入这四个位置就行。具体的使用可以查看selenium文档,点击按钮前抠张图,点击后再抠张图。最后拖动的时候要需要模拟人的行为,先加速然后减速。因为这种验证码有行为特征检测,人是不可能做到一直匀速的,否则它就判定为是机器在拖动,这样就无法通过验证了。

以上就是python爬虫怎么识别的详细内容,更多请关注码农之家其它相关文章!

python爬虫难吗

python爬虫难吗

互联网的数据爆炸式的增长,而利用 Python 爬虫我们可以获取大量有价值的数据:

1.爬取数据,进行市场调研和商业分析

爬取知乎优质答案,筛选各话题下最优质的内容; 抓取房产网站买卖信息,分析房价变化趋势、做不同区域的房价分析;爬取招聘网站职位信息,分析各行业人才需求情况及薪资水平。

2.作为机器学习、数据挖掘的原始数据

比如你要做一个推荐系统,那么你可以去爬取更多维度的数据,做出更好的模型。

3.爬取优质的资源:图片、文本、视频

爬取商品(店铺)评论以及各种图片网站,获得图片资源以及评论文本数据。

掌握正确的方法,在短时间内做到能够爬取主流网站的数据,其实非常容易实现。

但建议你从一开始就要有一个具体的目标,在目标的驱动下,你的学习才会更加精准和高效。这里给你一条平滑的、零基础快速入门的学习路径:

1.了解爬虫的基本原理及过程

2.Requests+Xpath 实现通用爬虫套路

3.了解非结构化数据的存储

4.应对特殊网站的反爬虫措施

5.Scrapy 与 MongoDB,进阶分布式

01 了解爬虫的基本原理及过程

大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行,这其实也是模拟了我们使用浏览器获取网页信息的过程。

简单来说,我们向服务器发送请求后,会得到返回的页面,通过解析页面之后,我们可以抽取我们想要的那部分信息,并存储在指定的文档或数据库中。

在这部分你可以简单了解 HTTP 协议及网页基础知识,比如 POST\GET、HTML、CSS、JS,简单了解即可,不需要系统学习。

02 学习 Python 包并实现基本的爬虫过程

Python中爬虫相关的包很多:urllib、requests、bs4、scrapy、pyspider 等,建议你从requests+Xpath 开始,requests 负责连接网站,返回网页,Xpath 用于解析网页,便于抽取数据。

如果你用过 BeautifulSoup,会发现 Xpath 要省事不少,一层一层检查元素代码的工作,全都省略了。掌握之后,你会发现爬虫的基本套路都差不多,一般的静态网站根本不在话下,小猪、豆瓣、糗事百科、腾讯新闻等基本上都可以上手了。

以上就是python爬虫难吗的详细内容,更多请关注码农之家其它相关文章!

以上就是本次给大家分享的关于Python的全部知识点内容总结,大家还可以在下方相关文章里找到python测试opencv时imread导致、 python ddt数据驱动实例代码、 如何由java转学python、 等python文章进一步学习,感谢大家的阅读和支持。

上一篇:代码示例介绍Python文件的操作

下一篇:精选Python开发工程师面试题

展开 +

收起 -

学习笔记
网友NO.407836

python爬虫之自制英汉字典

最近在微信公众号中看到有人用Python做了一个爬虫,可以将输入的英语单词翻译成中文,或者把中文词语翻译成英语单词。笔者看到了,觉得还蛮有意思的,因此,决定自己也写一个。 首先我们的爬虫要能将英语单词翻译成中文,因此,我们就需要一个网站帮助我们做这件事情。于是,我们选定有道词典,网址为: http://dict.youdao.com/ 。在该网页中我们输入单词nice,就会出来这个单词的意思,如下图: 针对上述过程,对于熟悉爬虫的读者来说,是不难完成将输入的单词的中文意思从网页中提取出来的。笔者的代码如下: import requestsfrom bs4 import BeautifulSoup# get word from Command lineword = input("Enter a word (enter 'q' to exit): ")# main bodywhile word != 'q': # 'q' to exit try: # 利用GET获取输入单词的网页信息 r = requests.get(url='http://dict.youdao.com/w/%s/#keyfrom=dict2.top'%word) # 利用BeautifulSoup将获取到的文本解析成HTML soup = BeautifulSoup(r.text, "lxml") # 获取字典的标签内容 s = soup.find(class_='trans-container')('ul')[0]('li') # 输出字典的具体内容 for item in s: if item.text: print(item.text) print('='*40+'\n') except Exception: print("Sorry, there is a error!\n") finally: word = input( "Enter a word (enter 'q' to exit): ") 运行上述Python代码,结果如下: 上述过程无疑是简单的,下面,我们增加一些新的功能,如下:……

网友NO.500259

Python中Scrapy爬虫图片处理详解

下载图片 下载图片有两种方式,一种是通过 Requests 模块发送 get 请求下载,另一种是使用 Scrapy 的 ImagesPipeline 图片管道类,这里主要讲后者。 安装 Scrapy 时并没有安装图像处理依赖包 Pillow,需手动安装否则运行爬虫出错。 首先在 settings.py 中设置图片的存储路径: IMAGES_STORE = 'D:/' 图片处理相关的选项还有: # 图片最小高度和宽度设置,可以过滤太小的图片IMAGES_MIN_HEIGHT = 110IMAGES_MIN_WIDTH = 110# 生成缩略图选项IMAGES_THUMBS = { 'small': (50, 50), 'big': (270, 270),} 之前已经存在提取内容的 TuchongPipeline 类,如果使用 ImagePipeline 可以将提取内容的操作都合并过来,但是为了更好的说明图片管道的作用,我们再单独创建一个 ImagePipeline 类,加到 pipelines.py 文件中,同时重载函数 get_media_requests: class PhotoGalleryPipeline(object): ...class PhotoPipeline(ImagesPipeline): def get_media_requests(self, item, info): for (id, url) in item['images'].items(): yield scrapy.Request(url) 上篇文章中我们把图片的URL保存在了 item['images'] 中,它是一个字典类型的数组,形如:[{img_id: img_url}, ...],此函数中需要把 img_url 取出并构建为 scrapy.Request 请求对象并返回,每一个请求都将触发一次下载图片的操作。 到 settings.py 中注册 PhotoPipeline,并把优先级设的比提取内容的管道要高一些,保证图片下载优先于……

网友NO.216427

python爬虫之自动登录与验证码识别

在用爬虫爬取网站数据时,有些站点的一些关键数据的获取需要使用账号登录,这里可以使用requests发送登录请求,并用Session对象来自动处理相关Cookie。 另外在登录时,有些网站有时会要求输入验证码,比较简单的验证码可以直接用pytesser来识别,复杂的验证码可以依据相应的特征自己采集数据训练分类器。 以CSDN网站的登录为例,这里用Python的requests库与pytesser库写了一个登录函数。如果需要输入验证码,函数会首先下载验证码到本地,然后用pytesser识别验证码后登录,对于CSDN登录验证码,pytesser的识别率很高。 其中的pytesser的下载地址为: pytesser下载 具体代码如下: #coding:utf-8import sysimport timeimport urllibimport shutilimport pytesserimport requestsfrom lxml import etreeconfig = {'gid': 1}def parse(s, html, idx): result = {} tree = etree.HTML(html) try: result['lt'] = tree.xpath('//input[@name="lt"]/@value')[0] result['execution'] = tree.xpath('//input[@name="execution"]/@value')[0] result['path'] = tree.xpath('//form[@id="fm1"]/@action')[0] except IndexError, e: return None valimg = None valimgs = tree.xpath('//img[@id="yanzheng"]/@src') if len(valimgs) 0: valimg = valimgs[0] validateCode = None if valimg: fname = 'img/' + str(idx) + '_' + str(config['gid']) + '.jpg' config['gid'] = config['gid'] + 1 ri = s.get("https://passport.csdn.net" + valimg) with open(fname, 'wb') as f: for chk in……

网友NO.793978

python爬虫_微信公众号推送信息爬取的实例

问题描述 利用搜狗的微信搜索抓取指定公众号的最新一条推送,并保存相应的网页至本地。 注意点 搜狗微信获取的地址为临时链接,具有时效性。 公众号为动态网页(JavaScript渲染),使用requests.get()获取的内容是不含推送消息的,这里使用selenium+PhantomJS处理 代码 #! /usr/bin/env python3from selenium import webdriverfrom datetime import datetimeimport bs4, requestsimport os, time, sys# 获取公众号链接def getAccountURL(searchURL): res = requests.get(searchURL) res.raise_for_status() soup = bs4.BeautifulSoup(res.text, "lxml") # 选择第一个链接 account = soup.select('a[uigs="account_name_0"]') return account[0]['href']# 获取首篇文章的链接,如果有验证码返回Nonedef getArticleURL(accountURL): browser = webdriver.PhantomJS("/Users/chasechoi/Downloads/phantomjs-2.1.1-macosx/bin/phantomjs") # 进入公众号 browser.get(accountURL) # 获取网页信息 html = browser.page_source accountSoup = bs4.BeautifulSoup(html, "lxml") time.sleep(1) contents = accountSoup.find_all(hrefs=True) try: partitialLink = contents[0]['hrefs'] firstLink = base + partitialLink except IndexError: firstLink = None print('CAPTCHA!') return firstLink# 创建文件夹存储html网页,以时间命名def folderCreation(): path = os.path.join(os.getcwd(), datetime.now().strftime('%Y-%m-%d_%H-%M-%S')) try: os.makedirs(path) except OSError as e: if e.errno != errno.EEXIST: raise print("folder not exist!")……

<
1
>

Copyright 2018-2019 xz577.com 码农之家

版权责任说明