当前位置:主页 > python教程 > python urllib urlopen()对象方法/代理的补充说明

实例解析python urllib urlopen()对象方法/代理的补充说明

发布:2020-02-22 09:50:26 99


给网友朋友们带来一篇Python相关的编程文章,网友石锐锋根据主题投稿了本篇教程内容,涉及到python、urllib、urlopen()、python urllib urlopen()对象方法/代理的补充说明相关内容,已被485网友关注,涉猎到的知识点内容可以在下方电子书获得。

python urllib urlopen()对象方法/代理的补充说明

python urllib urlopen()对象方法/代理的补充说明

urllib 是 python 自带的一个抓取网页信息一个接口,他最主要的方法是 urlopen(),是基于 python 的 open() 方法的。下面是主要说明:

urllib.urlopen('网址')

这里传入urlopen()的参数有特别说要求,要遵循一些网络协议,比如http,ftp,也就是说,在网址的开头必须要有http://这样的说明,如:urllib.urlopen('http://www.baidu.com')。

要么就是本地文件,本地文件需要使用file关键字,比如 urllib.urlopen('file:nowamagic.py'),注意,这里的hello.py是指的是当前的classpath所指定的内容,如果对hello.py这里有什么疑问那一定是python寻找classpath的顺序不是很清楚了,当然也可以直接写全部路径,urllib.urlopen('file:F:\pythontest\nowamagic.py')。

打开 ftp 文件也是可以的,写法 urllib.urlopen(url='ftp://用户名:密码@ftp地址/') 等。

示例程序:

import urllib
f = urllib.urlopen('file:F:\pythontest\nowamagic.py')
a = f.read()
print a

如果传入的参数正确,比如该网站可以访问,没有特殊情况(比如需要代理,被墙等),那么将返回一个类似于文件对象的对象。即上面代码中的f,f对象有的方法一些操作方法,使用dir(f):

['__doc__', '__init__', '__iter__', '__module__', '__repr__', 'close', 'fileno', 'fp', 'geturl', 'headers', 'info', 'next', 'read', 'readline', 'readlines', 'url']

使用read()方法会将所有内容读取出来,并且同时f对象类似于先入先出的数据,在使用f.read()将得不到任何数据,也就是说,得到的数据在这个时候如果想在后面进行任何处理操作的话,需要另外定义一个对象来进行存储。如上例中的a。而info(),geturl()方法,也是基于f这个文档对象的,所以,使用

>>>f.geturl()
 'F://pythontest//nowamagic.py'

接下来是urllib的代理设置:

import urllib
proxies = {'http':'http://***.***.***.***:1984'}
filehandle = urllib.urlopen('http://www.需要代理才能访问的网站.com/',proxies = proxies)
a = filehandle.read()
print a

以上是最基本代理,即代理访问到该网站,并且能够获得该网站的内容。但是如果遇到需要登录,或者需要cookie等的网站呢?

查看urllib的源码:

def urlopen(url, data=None, proxies=None):
  """urlopen(url [, data]) -> open file-like object"""
  global _urlopener
  if proxies is not None:
    opener = FancyURLopener(proxies=proxies)
  elif not _urlopener:
    opener = FancyURLopener()
    _urlopener = opener
  else:
    opener = _urlopener
  if data is None:
    return opener.open(url)
  else:
    return opener.open(url, data)

由上面urllib的urlopen的源码,可以看出,还可以传入一个data参数,data参数也应该是一个字典,因为在使用浏览器向服务器发送数据的时候,我们发送的就是字典类型的数据。

还有一点,就是代理支持是 python 2.3 以后加入的。

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!


参考资料

相关文章

  • python实现邮件循环自动发件功能

    python实现邮件循环自动发件功能

    发布:2022-10-09

    给大家整理一篇关于python的教程,这篇文章主要介绍了python实现邮件循环自动发件功能,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下


  • python实现的多线程端口扫描功能示例

    发布:2022-04-03

    这篇文章主要介绍了python实现的多线程端口扫描功能,结合实例形式分析了Python基于socket的端口扫描具体步骤与相关操作技巧,需要的朋友可以参考下


  • python字典添加元素的实例方法

    发布:2019-09-17

    python字典是另一种可变容器模型,且可存储任意类型对象。向python字典添加新内容的方法是增加新的键/值对。


  • Python第三方库undetected_chromedriver的使用

    发布:2023-03-04

    这篇文章主要给大家介绍了关于Python第三方库undetected_chromedriver的使用方法,文中通过实例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下


  • Python用selenium实现自动登录和下单的项目实战

    发布:2023-03-28

    本文主要介绍了Python用selenium实现自动登录和下单的项目实战,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧


  • python创造虚拟环境方法总结

    python创造虚拟环境方法总结

    发布:2022-07-04

    给网友朋友们带来一篇关于python的教程,在本篇内容里我们给大家整理了关于python创造虚拟环境的详细方法和步骤,需要的朋友们学习下。


  • 如何将python代码打包成pip包(可以pip install)

    发布:2023-04-16

    这篇文章主要介绍了如何将python代码打包成pip包(可以pip install),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧


  • Python pip更新的两种方式详解

    发布:2023-04-11

    Pip是用于管理Python软件包的常用命令,Pip命令还用于更新/升级已经安装的Python软件包,下面这篇文章主要给大家介绍了关于Python pip更新的两种方式,需要的朋友可以参考下


网友讨论