标签分类 热门分类
当前位置:首页 > 程序设计电子书 > HTTP电子书网盘下载
HTTP抓包实战 HTTP抓包实战
码小辫

码小辫 提供上传

资源
41
粉丝
48
喜欢
369
评论
13

    HTTP抓包实战 PDF 清晰扫描版

    HTTP电子书
    • 发布时间:

    给大家带来的一篇关于HTTP相关的电子书资源,介绍了关于HTTP、抓包、实战方面的内容,本书是由人民邮电出版社出版,格式为PDF,资源大小131 MB,肖佳编写,目前豆瓣、亚马逊、当当、京东等电子书综合评分为:8.9,更多相关的学习资源可以参阅 程序设计电子书Web前端视频、等栏目。

  • HTTP抓包实战 PDF 下载
  • 下载地址:https://pan.baidu.com/s/1EbeHovKJaWQragXxnPmdm
  • 分享码:9i68
  • HTTP抓包实战

    内容介绍

    HTTP抓包运用Fiddler抓包工具来捕捉HTTP数据文件,随后进行重发、编写等实际操作。HTTP抓包的主要用途十分普遍,适用于web开发设计调节、手机软件自动化技术测、插口自动化测试、功能测试和爬虫技术等层面。也用于查验网络信息安全。抓包也常常被用于开展统计数据提取等。 《HTTP抓包实战》关键紧紧围绕抓包展平。全书现有26章,主要详细介绍了HTTP协议书、怎么使用Fiddler对HTTP包开展爬取,怎样对HTTP开展剖析,及其应用JMeter等专用工具来上传HTTP包以建立手机软件的自动化测试。

    这书图文并茂,案例丰富多彩,也有配套设施的教程视频,便捷小读者参照并动手能力实践活动。

    这书合适前端工程师技术工程师、测试工程师、线上线下常见故障适用工作人员、插口开发者和web开发者阅读文章,也合适对自动化测试很感兴趣的工作人员阅读文章。

    目录

    • 第1章HTTP协议书和Fiddler抓包 1
    • 第2章 HTTPS协议书和Fiddler抓包16
    • 第3章HTTP协议书post请求方式和情况码21
    • 第4章HTTP协议书Header详细介绍37
    • 第5章web网页页面抓包和Fiddler
    • 第6章HTTP协议书中的缓存文件57
    • 第7章HTTP协议书缩小和网页地址 Encode65
    • 第8章Fiddler应用方法76
    • 第9章Fiddler前端开发迅速调节83
    • 第12章 Fiddler的Script使用方法87
    • 第12章 深层次了解Cookie体制97
    • 第13章 Fiddler建立Cookie被劫持
    • 第12章 HTTP基础验证112
    • 第13章 Fiddler手机抓包122
    • 第16章 Fiddler上传HTTPpost请求109
    • 第18章 Fiddler建立弱网检测139
    • 第18章 自动化测试和接口测试156
    • 第16章 JMeter专用工具应用详细介绍151
    • 第21章 JMeter天气接口自动化测试165
    • 第30章 JMeter中BeanShell的使用方法169
    • 第23章 自动登录禅道和全自动开Bug174
    • 第26章 JMeter给网址做稳定性测试18822.6简易的稳定性测试193

    读书笔记

    关于HTTP传输中gzip压缩的秘密探索分析

    前言

    网页加载速度加快的好处不言而喻,除了节省流量,改善用户的浏览体验外,另一个潜在的好处是Gzip与搜索引擎的抓取工具有着更好的关系。例如 Google就可以通过直接读取gzip文件来比普通手工抓取更快地检索网页。在Google网站管理员工具(Google Webmaster Tools)中你可以看到,sitemap.xml.gz 是直接作为Sitemap被提交的。

    而这些好处并不仅仅限于静态内容,PHP动态页面和其他动态生成的内容均可以通过使用Apache压缩模块压缩,加上其他的性能调整机制和相应的服务器端 缓存规则,这可以大大提高网站的性能。因此,对于部署在Linux服务器上的PHP程序,在服务器支持的情况下,我们建议你开启使用Gzip Web压缩。下面来一起看看详细的介绍吧。

    为什么要开启gZip

    关于HTTP传输中gzip压缩的秘密探索分析

    我们给某人发送邮件时,我们在传输之前把自己的文件压缩一下,接收方收到文件后再去解压获取文件。这中操作对于我们来说都已经司空见惯。我们压缩文件的目的就是为了把传输文件的体积减小,加快传输速度。我们在 http 传输中开启 gZip 的目的也是如此,但是一般文章介绍 gZip 时候总是结合一些服务端配置(nginx)或者构建工具插件(webpack)来说,列出一大堆配置让人看的云里雾里,以至于到最后还没搞懂 为什么用,怎么用 这些问题。

    http 与 gZip

    我们下面去探讨一下这些问题

    gZip 文件怎么通讯

    我们传输压缩文件给别人时候一般都带着后缀名 .rar, .zip之类,对方在拿到文件后根据相应的后缀名选择不同的解压方式然后去解压文件。我们在 http 传输时候解压文件的这个角色的扮演者就是我们使用的浏览器,但是浏览器怎么分辨这个文件是什么格式,应该用什么格式去解压呢?

    在 http/1.0 协议中关于服务端发送的数据可以配置一个 Content-Encoding 字段,这个字段用于说明数据的压缩方法

    Content-Encoding: gzip
    Content-Encoding: compress
    Content-Encoding: deflate

    客户端在接受到返回的数据后去检查对应字段的信息,然后根据对应的格式去做相应的解码。客户端在请求时,可以用 Accept-Encoding 字段说明自己接受哪些压缩方法。

    Accept-Encoding: gzip, deflate

    我们在浏览器的控制台中可以看到请求的相关信息

    关于HTTP传输中gzip压缩的秘密探索分析

    兼容性

    提到浏览器作为一个前端就不由自主的会想一个问题,会不会有浏览器不支持呢。HTTP/1.0 是1996年5月发布的。好消息是基本不用考虑兼容性的问题,几乎所有浏览器都支持它。值得一提的是 ie6的早起版本中存在一个会破坏 gZip的错误,后面 ie6本身在 WinXP SP2 中修复了这个问题,而且用这个版本的用户数量也很少。

    谁去压缩文件

    这件事看起来貌似只能服务端来做,我们在网上看到最多的也是诸如 nginx 开启 gZip 配置之类的文章,但是现在前端流行 spa 应用, 用 react, vue 之类的框架时候总伴随这一套自己的脚手架,一般用 webpack 作为打包工具,其中可以配置插件 如compression-webpack-plugin 可以让我们把生成文件进行 gZip 等压缩并生成对应的压缩文件,而我们应用在构架时候有可能也会在服务区和前端文件中放置一层 node 应用来进行接口鉴权和文件转发。nodejs中我们熟悉的express 框架中也有一个compression 中间件,可以开启gZip,一时间看的人眼花缭乱,到底应该用谁怎么用呢?

    服务端响应请求时候压缩

    其实 nginx 压缩和 node 框架中用中间件去压缩都是一样的,当我们点击网页发送一个请求时候,我们的服务端会找到对应的文件,然后对文件进行压缩返回压缩后的内容【当然可以利用缓存减少压缩次数】,并配置好我们上面提到的 Content-Encoding 信息。对于一些应用在构架时候并没有上游代理层,比如服务端就一层 node 就可以直接用自己本身的压缩插件对文件进行压缩,如果上游配有有 nginx 转发处理层,最好交给 nginx 来处理这些,因为它们有专门为此构建的内容,可以更好的利用缓存并减小开销(很多使用c语言编写的)。

    我们看一些 nginx 中开启 gZip 压缩的一部分配置

    # 开启gzip
    gzip on;
    # 启用gzip压缩的最小文件,小于设置值的文件将不会压缩
    gzip_min_length 1k;
    # gzip 压缩级别,1-10,数字越大压缩的越好,也越占用CPU时间,后面会有详细说明
    gzip_comp_level 2;
    # 进行压缩的文件类型。javascript有多种形式。其中的值可以在 mime.types 文件中找到。
    gzip_types text/plain application/javascript application/x-javascript text/css application/xml text/javascript;

    应用构建时候压缩

    既然服务端都可以做了为什么 webpack 在打包前端应用时候还有这样一个压缩插件呢,我们可以在上面 nginx 配置中看到 gzip_comp_level 2 这个配置项,上面也有注释写道 1-10 数字越大压缩效果越好,但是会耗费更多的CPU和时间,我们压缩文件除了减少文件体积大小外,也是为了减少传输时间,如果我们把压缩等级配置的很高,每次请求服务端都要压缩很久才回返回信息回来,不仅服务器开销会增大很多,请求方也会等的不耐烦。但是现在的 spa 应用既然文件都是打包生成的,那如果我们在打包时候就直接生成高压缩等级的文件,作为静态资源放在服务器上,接收到请求后直接把压缩的文件内容返回回去会怎么样呢?

    webpack 的 compression-webpack-plugin 就是做这个事情的,配置起来也很简单只需要在装置中加入对应插件,简单配置如下

    const CompressionWebpackPlugin = require('compression-webpack-plugin');
    webpackConfig.plugins.push(
     new CompressionWebpackPlugin({
      asset: '[path].gz[query]',
      algorithm: 'gzip',
      test: new RegExp('\\.(js|css)$'),
      threshold: 10240,
      minRatio: 0.8
     })
    )

    webpack 打包完成后生成打包文件外还会额外生成 .gz 后缀的压缩文件

    关于HTTP传输中gzip压缩的秘密探索分析

    那么这个插件的压缩等级是多少呢,我们可以在源码中看到默认的 level 是 9

    ...
    const zlib = require('zlib');
    this.options.algorithm = zlib[this.options.algorithm];
    ...
    this.options.compressionOptions = {
     level: options.level || 9,
     flush: options.flush
     ...
    }

    可以看到压缩使用的是 zlib 库,而 zlib 分级来说,默认是 6 ,最高的级别就是9 Best compression (also zlib.Z_BEST_COMPRESSION),因为我们只有在上线项目时候才回去打包构建一次,所以我们在构建时候使用最高级的压缩方式压缩多耗费一些时间对我们来说根本没任何损耗,而我们在服务器上也不用再去压缩文件,只需要找到相应已经压缩过的文件直接返回就可以了。

    服务端怎么找到这些文件

    在应用层面解决这个问题还是比较简单的,比如上述压缩文件会产生index.css, index.js的压缩文件,在服务端简单处理可以判断这两个请求然后给予相对应的压缩文件。以 node 的 express 为例

    ...
    app.get(['/index.js','/index.css'], function (req, res, next) {
     req.url = req.url + '.gz'
     res.set('Content-Encoding', 'gzip')
     res.setHeader("Content-Type", generateType(req.path)) // 这里要根据请求文件设置content-type
     next()
    })

    上面我们可以给请求返回 gZip 压缩后的数据了,当然上面的局限性太强也不可取,但是对于处理这个方面需求也已经有很多库存在,express 有 express-static-gzip 插件 koa 的 koa-static 则默认自带对 gZip 文件的检测,基本原理就是对请求先检测 .gz后缀的文件是否存在,再去根据结果返回不同的内容。

    哪些文件可以被 gZip 压缩

    gZip 可以压缩所有的文件,但是这不代表我们要对所有文件进行压缩,我们写的代码(css,js)之类的文件会有很好的压缩效果,但是图片之类文件则不会被 gzip 压缩太多,因为它们已经内置了一些压缩,一些文件(比如一些已经被压缩的像.zip文件那种)再去压缩可能会让生成的文件体积更大一些。当然已经很小的文件也没有去压缩的必要了。

    实践

    能开启 gZip 肯定是要开启的,具体使用在请求时候实时压缩还是在构建时候去生成压缩文件,就要看自己具体业务情况。

    参考资料

    • How are zlib, gzip and zip related? What do they have in common and how are they different?
    • webpack gzip vs express gzip
    • What is gZip compression?
    • HTTP 协议

    总结

    以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对码农之家的支持。

    上一篇:C语言从入门到精通  下一篇:剑指Offer:名企面试官精讲典型编程题

    展开 +

    收起 -

     
    HTTP 相关电子书
    关于HTTP的学习笔记
    网友NO.226349

    对Python发送带header的http请求方法详解

    简单的header import urllib2 request = urllib2.Request('http://example.com/')request.add_header('User-Agent', 'fake-client')response = urllib2.urlopen(request)print request.read() 包含较多元素的header import urllib,urllib2 url = 'http://example.com/'headers = { 'Host':'example.com', 'Connection':'keep-alive', 'Cache-Control':'max-age=0', 'Accept': 'text/html, */*; q=0.01', 'X-Requested-With': 'XMLHttpRequest', 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.89 Safari/537.36', 'DNT':'1', 'Referer': 'http://example.com/', 'Accept-Encoding': 'gzip, deflate, sdch', 'Accept-Language': 'zh-CN,zh;q=0.8,ja;q=0.6'}data = Nonereq = urllib2.Request(url, data, headers)response = urllib2.urlopen(req)html = response.read() 以上这篇对Python发送带header的http请求方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。 ……

    网友NO.610963

    spring集成okhttp3的步骤详解

    前言 okhttp 介绍 HTTP is the way modern applications network. It's how we exchange data gt;Doing HTTP efficiently makes your stuff load faster and saves bandwidth. OkHttp is an HTTP client that's efficient by default: HTTP/2 support allows all requests to the same host to share a socket. Connection pooling reduces request latency (if HTTP/2 isn't available). Transparent GZIP shrinks download sizes. Response caching avoids the network completely for repeat requests. OkHttp perseveres when the network is troublesome: it will silently recover from common connection problems. If your service has multiple IP addresses OkHttp will attempt alternate addresses if the first connect fails. This is necessary for IPv4+IPv6 and for services hosted in redundant data centers. OkHttp initiates new connections with modern TLS features (SNI, ALPN), and falls back to TLS 1.0 if the handshake fails. Using OkHttp is easy. Its request/response API is designed with fluent builders and immutability. It supports both synchronous blocking calls and async calls with callbacks. OkHttp supports Android 2.3 and above. For Java, the minimum requirement is 1.7. —摘自 https://square.github.io/okhttp/ 特点 1.支持http和https协议,api相同,易用; 2.http使用线程池,https使用多路复用; 3.okhttp支持同步和异步调用; 4.支持普通form和文件上传form; 5.提供了拦截器,操作请求和响应(日志,请求头,body等); 6.okhttp可以设置缓存; 准备工作 在pom.xml文件中增……

    网友NO.274278

    SpringBoot记录Http请求日志的方法

    在使用Spring Boot开发 web api 的时候希望把 request,request header ,response reponse header , uri, method 等等的信息记录到我们的日志中,方便我们排查问题,也能对系统的数据做一些统计。 Spring 使用了 DispatcherServlet 来拦截并分发请求,我们只要自己实现一个 DispatcherServlet 并在其中对请求和响应做处理打印到日志中即可。 我们实现一个自己的分发 Servlet ,它继承于 DispatcherServlet,我们实现自己的 doDispatch(HttpServletRequest request, HttpServletResponse response) 方法。 public class LoggableDispatcherServlet extends DispatcherServlet { private static final Logger logger = LoggerFactory.getLogger("HttpLogger"); private static final ObjectMapper mapper = new ObjectMapper(); @Override protected void doDispatch(HttpServletRequest request, HttpServletResponse response) throws Exception { ContentCachingRequestWrapper requestWrapper = new ContentCachingRequestWrapper(request); ContentCachingResponseWrapper responseWrapper = new ContentCachingResponseWrapper(response); //创建一个 json 对象,用来存放 http 日志信息 ObjectNode rootNode = mapper.createObjectNode(); rootNode.put("uri", requestWrapper.getRequestURI()); rootNode.put("clientIp", requestWrapper.getRemoteAddr()); rootNode.set("requestHeaders", mapper.valueToTree(getRequestHeaders(requestWrapper))); String method = requestWrapper.getMethod(); rootNode.put("method", method); try { super.doDispatch(r……

    网友NO.380343

    spring boot openfeign从此和httpClient说再见详析

    前言 在微服务设计里,服务之间的调用是很正常的,通常我们使用httpClient来实现对远程资源的调用,而这种方法需要知识服务的地址,业务接口地址等,而且需要等他开发完成后你才可以去调用它,这对于集成开发来说,不是什么好事 ,产生了A业务与B业务的强依赖性,那么我们如何进行解耦呢,答案就是openfeign框架,它与是springcloudy里的一部分。 1 添加包引用 'org.springframework.cloud:spring-cloud-starter-openfeign', 注意: 如果你没有引用springcloudy版本人有太多,需要先声明它 dependencyManagement { imports { mavenBom "org.springframework.cloud:spring-cloud-dependencies:${springCloudVersion}" }} 2 定义profile相关配置 //默认的一些文件路径的配置sourceSets { integTest { java.srcDir file('src/test/java') resources.srcDir file('src/test/resources') }}task integTest(type: Test) { testClassesDirs = sourceSets.test.output.classesDirs classpath = sourceSets.test.runtimeClasspath} 3 定义服务接口,定义伪方法,就是服务里的方法,你要知识方法参数和它的返回值,实现不用管,只在单元测试里MOCK就可以 package test.lind.javaLindDay.feignClientDemo;import org.springframework.cloud.openfeign.FeignClient;import org.springframework.context.annotation.Profile;import org.springframework.web.bind.annotation.GetMapping;/** * 模拟其他服务. */@Profile("!integTest")@FeignClient(name = "serv……

    Copyright 2018-2020 xz577.com 码农之家

    电子书资源由网友、会员提供上传,本站记录提供者的基本信息及资源来路

    鸣谢: “ 码小辫 ” 公众号提供回调API服务、“ 脚本CDN ”提供网站加速(本站寻求更多赞助支持)

    版权投诉 / 书籍推广 / 赞助:520161757@qq.com

    上传资源(网友、会员均可提供)

    查看最新会员资料及资源信息