python爬取使用Urllib库获取请求

  • 更新时间:2021-07-05 09:36:44
  • 编辑:阙念桃
给寻找编程代码教程的朋友们精选了相关的编程文章,网友闻梓蓓根据主题投稿了本篇教程内容,涉及到请求、获取、网页、就是、一个相关内容,已被684网友关注,下面的电子资料对本篇知识点有更加详尽的解释。

参考资料

正文内容

这是一篇很好的python技术文章,知识点总结的很细,把代码经过测试发布到这里,希望大家能有所收获。

python爬取使用Urllib库获取请求

Urllib库:制定URL,获取网页数据,访问url

1、获得get请求

import urllib.request

#获取一个get请求

response = urllib.request.urlopen("http://www.baidu.com")#获取网页

print(response.read().decode('utf-8'))#decode('utf-8')解析代码,使中文也可以正常显示

注意:其中这里urlopen,这个函数就是请求一个url的内容,这也是爬虫的第一步:网页请求,获取内容

2、获取post请求

import urllib.parse#解析器
data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding="utf-8") #转化成二进制,封装

response = urllib.request.urlopen("http://httpbin.org/post",data=data)
print(response.read().decode('utf-8'))

注意:这里加了data参数就是以POST形式发送请求,否则就是GET方式了。

相关教程

用户留言