技术文章
当前位置:首页 > Python技术文章 > Python实现的下载网页源码功能示例

Python下载网页源码功能实现方法

  • 发布时间:
  • 作者:码农之家原创
  • 点击:109

这篇文章主要知识点是关于Python、下载、网页源码、Python爬虫学习之获取指定网页源码 的内容,如果大家想对相关知识点有系统深入的学习,可以参阅以下电子书

Selenium自动化测试:基于Python语言
  • 类型:Selenium大小:6.93 MB格式:PDF出版:人民邮电出版社作者:冈迪察.U
立即下载

更多Python相关的学习资源可以参阅 Python电子书程序设计电子书 等栏目。

Python实现的下载网页源码功能示例

本文实例讲述了Python实现的下载网页源码功能。分享给大家供大家参考,具体如下:

#!/usr/bin/python
import httplib
httpconn = httplib.HTTPConnection("www.baidu.com")
httpconn.request("GET", "/index.html")
resp = httpconn.getresponse()
if resp.reason == "OK":
  resp_data = resp.read()
  print resp_data
  print len(resp_data)
httpconn.close()

要下载的网页源码被读取到了resp_data中了

运行效果图如下:

Python实现的下载网页源码功能示例

希望本文所述对大家Python程序设计有所帮助。

Python爬虫学习之获取指定网页源码

本文实例为大家分享了Python获取指定网页源码的具体代码,供大家参考,具体内容如下

1、任务简介

前段时间一直在学习Python基础知识,故未更新博客,近段时间学习了一些关于爬虫的知识,我会分为多篇博客对所学知识进行更新,今天分享的是获取指定网页源码的方法,只有将网页源码抓取下来才能从中提取我们需要的数据。

2、任务代码

Python获取指定网页源码的方法较为简单,我在Java中使用了38行代码才获取了网页源码(大概是学艺不精),而Python中只用了6行就达到了效果。

Python中获取网页源码最简单的方法就是使用urllib包,具体代码如下:

import urllib.request    #导入urllib.request库
b = str(input("请输入:"))  #提示用户输入信息,并强制类型转换为字符串型
a = urllib.request.urlopen(b)#打开指定网址
html = a.read()       #读取网页源码
html = html.decode("utf-8") #解码为unicode码
print(html)         #打印网页源码

我输入的网址是我博客主页的网址https://blog.csdn.net/lsylsy726

运行结果如下:

Python爬虫学习之获取指定网页源码

3、总结

这篇博客介绍的方法较为简单,其实有的网站会“反爬虫”,这时就需要我们使用User-Agent或者代理,这些东西都会在后面的博客中进行更新,我预计在后面博客中更新“读取CSDN博客访问量的小程序”和“有道翻译小程序”及其他更难一些的知识,由于刚开始学习爬虫,水平有限,请大家多多包涵。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持码农之家。

以上就是本次给大家分享的关于Python的全部知识点内容总结,大家还可以在下方相关文章里找到python里dict变成list的实例方、 python字符串与url编码转换、 Python3结合Dlib实现人脸识别、 等python文章进一步学习,感谢大家的阅读和支持。

上一篇:python import引入不同路径下的模块用法

下一篇:python利用Future对象回调别的函数知识点总结

展开 +

收起 -

Python下载源码 相关电子书
学习笔记
网友NO.535110

python 读写excel文件操作示例【附源码下载】

本文实例讲述了python 读写excel文件操作。分享给大家供大家参考,具体如下: 对excel文件的操作,python有第三方的工具包支持,xlutils,在这个工具包中包含了xlrd,xlwt等工具包.利用这些工具,可以方便的对excel 进行操作。 1. 下载 xlutils : http://pypi.python.org/pypi/xlutils 2. 安装,解压下载文件之后,可以 python setup.py install 3. 应用(生成EXCEL,遍历EXCEL,修改EXCEL,属性控制,日期控制等)。 1) 创建 EXCEL 文件 from tempfile import TemporaryFilefrom xlwt import Workbookbook = Workbook()sheet1 = book.add_sheet('Sheet 1')book.add_sheet('Sheet 2')sheet1.write(0,0,'A1')sheet1.write(0,1,'B1')row1 = sheet1.row(1)row1.write(0,'A2')row1.write(1,'B2')sheet1.col(0).width = 10000sheet2 = book.get_sheet(1)sheet2.row(0).write(0,'Sheet 2 A1')sheet2.row(0).write(1,'Sheet 2 B1')sheet2.flush_row_data()sheet2.write(1,0,'Sheet 2 A3')sheet2.col(0).width = 5000sheet2.col(0).hidden = Truebook.save('simple.x……

网友NO.259946

python中K-近邻算法的原理与实现(附源码)

本篇文章给大家带来的内容是关于python中K-近邻算法的原理与实现(附源码),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。 k-近邻算法通过测量不同特征值之间的距离方法进行分类。 k-近邻算法原理 对于一个存在标签的训练样本集,输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,根据算法选择样本数据集中前k个最相似的数据,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。 k-近邻算法实现 这里只是对单个新数据的预测,对同时多个新数据的预测放在后文中。 假定存在训练样本集 X_train(X_train.shape=(10, 2)),对应的标记 y_train(y_train.shape=(10,),包含0、1),使用 matplotlib.pyplot 作图表示如下(绿色的点表示标记0,红色的点表示标记1): 现有一个新的数据:x(x = np.array([3……

网友NO.427374

Python中enum模块源码的详细分析(代码示例)

本篇文章给大家带来的内容是关于Python中enum模块源码的详细分析(代码示例),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。 上一篇 《Python中枚举类型的详解(代码示例)》 文末说有机会的话可以看看它的源码。那就来读一读,看看枚举的几个重要的特性是如何实现的。 要想阅读这部分,需要对元类编程有所了解。 成员名不允许重复 这部分我的第一个想法是去控制 __dict__ 中的 key 。但这样的方式并不好,__dict__ 范围大,它包含该类的所有属性和方法。而不单单是枚举的命名空间。我在源码中发现 enum 使用另一个方法。通过 __prepare__ 魔术方法可以返回一个类字典实例,在该实例 使用 __prepare__ 魔术方法自定义命名空间,在该空间内限定成员名不允许重复。 # 自己实现class _Dict(dict): def __setitem__(self, key, value): if key in self: rai……

网友NO.166339

通过源码分析Python中的切片赋值

本文主要介绍的关于Python切片赋值的相关内容,分享出来供大家参考学习,下面来一起看看详细的介绍: 昨天有同学问了我这么个问题: t = [1, 2, 3]t[1:1] = [7] # 感谢@一往直前 的疑问,之前写为 t[1:1] = 7了print t # 输出 [1, 7, 2, 3] 这个问题之前还真没遇到过,有谁会对列表这么进行赋值吗?不过对于这个输出结果的原因确实值得去再了解下,毕竟之前也看过《Python源码分析》。(题外话:据说最近有大牛在写新的版本) 想着今天有空看看Python的源码,去了解下原理是什么。 注: 我本地之前下载的是Python2.7.6的代码,直接看的这个。 在Objects/listobject.c中有一个 PyList_SetSlice 函数,是这么写的: intPyList_SetSlice(PyObject *a, Py_ssize_t ilow, Py_ssize_t ihigh, PyObject *v){ if (!PyList_Check(a)) { PyErr_BadInternalCall(); return -1; } return list_ass_slice((PyListObject *)a, ilow, ihigh, v);} 有用的一句就……

<
1
>

Copyright 2018-2020 xz577.com 码农之家

电子书资源由网友、会员提供上传,本站记录提供者的基本信息及资源来路

鸣谢: “ 码小辫 ” 公众号提供回调API服务、“ 脚本CDN ”提供网站加速(本站寻求更多赞助支持)

版权投诉 / 书籍推广 / 赞助:520161757@qq.com

上传资源(网友、会员均可提供)

查看最新会员资料及资源信息