当前位置:首页 > 编程教程 > Python技术文章 > Python爬取豆瓣电影数据并且提取值xpath和lxml模块

Python爬取豆瓣电影数据并且提取值xpath和lxml模块的代码讲解

  • 发布时间:
  • 作者:码农之家
  • 点击:52

这篇文章主要知识点是关于Python、xpath、lxml、的内容,如果大家想对相关知识点有系统深入的学习,可以参阅以下电子书

Python机器学习实践指南
  • 类型:Python大小:4.5 MB格式:PDF作者:Alexander T. Combs
立即下载

Python爬取豆瓣电影数据并且提取值xpath和lxml模块

本篇文章给大家带来的内容是关于Python爬取豆瓣电影数据并且提取值xpath和lxml模块(代码),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。

工具:Python 3.6.5、PyCharm开发工具、Windows 10 操作系统、谷歌浏览器

目的:爬取豆瓣电影排行榜中电影的title、链接地址、图片、评价人数、评分等

网址:https://movie.douban.com/chart

语法要点:

xpath语法:

谷歌浏览器安装 xpath helper插件:帮助我们从elements中定位数据

1、选择节点(标签)

  (1)、/html/head/meta:能够选中html下的所有的meta标签

  (2)、//li:当前页面上的所有的li标签

  (3)、/html/head//link:head下的所有link标签

2、//:能够从任意节点开始选择

  (1)、//li:当前页面上的所有的li标签

  (2)、/html/head//link:head下的所有的link标签

3、@符号的用途

  (1)、选择具体某个元素://p[@class='feed']/ul/li,选择class='feed'的p下的ul下的li

  (2)、a/@href:选择a的href的值

4、获取文本

  (1)、/a/text():获取a下的文本

  (2)、/a//text():获取a下的所有文本

示例

Python爬取豆瓣电影数据并且提取值xpath和lxml模块(代码)

lxml语法:

1、安装:pip install lxml

2、使用

  from lxml import etree

  element = etree.HTML("html字符串")

  element.xpath("")

代码:

 

from lxml import etree
import requests

url = "https://movie.douban.com/chart"

headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36"
}
response = requests.get(url,headers=headers)
html_str = response.content.decode()

#print(html_str)

html = etree.HTML(html_str)
print(html)

#1.获取所有的电影的URL地址
#url_list = html.xpath("//div[@class='indent']/div/table//div[@class='pl2']/a/@href")
#print(url_list)

#2.所有图片的地址
#img_list = html.xpath("//div[@class='indent']/div/table//a[@class='nbg']/img/@src")
#print(img_list)
ret1 = html.xpath("//div[@class='indent']/div/table")
print(ret1)
for table in ret1:
    item = {}
    item["title"] = table.xpath(".//div[@class='pl2']/a/text()")[0].replace("/","").strip()
    item["href"] = table.xpath(".//div[@class='pl2']/a/@href")[0]
    item["img"] = table.xpath(".//a[@class='nbg']/img/@src")[0]
    item["comment_num"] = table.xpath(".//span[@class='pl']/text()")[0]
    item["rating_num"] = table.xpath(".//span[@class='rating_nums']/text()")[0]
    print(item)

 

运行效果:

Python爬取豆瓣电影数据并且提取值xpath和lxml模块(代码)

以上就是Python爬取豆瓣电影数据并且提取值xpath和lxml模块(代码)的详细内容,更多请关注码农之家其它相关文章!

以上就是本次给大家分享的关于java的全部知识点内容总结,大家还可以在下方相关文章里找到相关文章进一步学习,感谢大家的阅读和支持。

您可能感兴趣的文章:

  • Python中hashlib模块的使用
  • Python3.5 Pandas模块中Series用法详解
  • Win10中python3.7安装dlib模块的技巧和坑
  • 解析Python怎么用time模块实现指定时间触发器
  • Python中os模块的实例讲解
  • Python OS模块实例用法
  • python使用fcntl模块实现程序加锁的方法
  • 详解python爬虫 urllib模块发起post请求
  • 相关电子书
    学习笔记

    Copyright 2018-2020 www.xz577.com 码农之家

    版权投诉 / 书籍推广 / 赞助:520161757@qq.com