python中如何使用XPath爬取小说
- 更新时间：2021-06-29 08:24:11
- 编辑：那凉夏
给大家整理了相关的编程文章，网友菱康宁根据主题投稿了本篇教程内容，涉及到Python相关内容，已被631网友关注，下面的电子资料对本篇知识点有更加详尽的解释。
参考资料
- Python程序开发(中级) PDF 电子书 / 89.7 MB / 中慧云启科技集团有限公司 推荐度：
- 编程小白的第1本Python入门书 PDF 电子书 / 39 MB / 侯爵 推荐度：
- Python数据分析：基于Plotly的动态可视化绘图 PDF 电子书 / 191.3 MB / 孙洋洋等 推荐度：
- Python游戏编程快速上手(第4版) PDF 电子书 / 41.2 MB / 斯维加特 推荐度：
- 《编程的乐趣：用Python解算法谜题》解题代码 配套资源 / 67.43 KB / 斯里尼·德瓦达斯（SriniDevada 推荐度：
正文内容
《python中如何使用XPath爬取小说》是一篇值得学习的技术文章，觉得应该跟大家分享，增加了更多知识点内容，希望对网友有用。
说明
xpath是一种在XML文档中搜索信息的语言。
过程
1、获得浏览器中的标题和作者测试。
2、在浏览器安装xpath插件:
3、在html中找到book-mid-info:
4、找到我们想得到小说的名字、作者
即//div[@class='book-mid-info']/h4/a/txt()
实例
# 作者：
# 开发时间：2021/4/8/0008 8:24
import requests
from lxml import etree
url="https://www.qidian.com/rank/yuepiao"
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'}
#发送请求
resp=requests.get(url,headers)
e=etree.HTML(resp.text) #类型转换，把str转变为class 'lxml.etree._ELement
print(type(e))
names=e.xpath('//div[@class="book-mid-info"]/h4/a/text()')
authors=e.xpath('//p[@class="author"]/a[1]/text()')
print(names)
print(authors)
#名称和作者对应
for name,authors in zip(names,authors):
print(name,":",authors)以上就是python中使用XPath爬取小说的方法，希望对大家有所帮助。
本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。
相关教程
-
用python获取txt文件中关键字的数量
这篇文章主要介绍了如何用python获取txt文件中关键字的数量，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下
发布时间：2021-05-02
-
win8怎么安装python
win8安装python的方法：首先打开win8系统的电脑并下载好Python应用程序；然后选择python的安装目录，点击next；接着配置环境变量；最后进入命令窗口，输入python出现安装成功的界面即可。
发布时间：2019-08-27
