Spark Streaming技术内幕及源码剖析

给大家带来的一篇关于Spark相关的电子书资源，介绍了关于Spark、Streaming、技术内幕、源码剖析方面的内容，本书是由清华大学出版社出版，格式为PDF，资源大小204 MB，王家林 夏阳编写，目前豆瓣、亚马逊、当当、京东等电子书综合评分为：8.1。

内容介绍

本书以大数据处理引擎Spark的稳定版本1.6.x为基础，从应用案例、原理、源码、流程、调 优等多个角度剖析Spark上的实时计算框架Spark Streaming。在勾勒出Spark Streaming架构轮廓的 基础上，从基本源码开始进行剖析，由浅入深地引导已具有Spark和Spark Streaming基础技术知识 的读者进行Spark Streaming的进阶学习，理解Spark Streaming的原理和运行机制，为流数据处理 的决策和应用提供了技术参考；结合Spark Streaming的深入应用的需要，对Spark Streaming的性 能调优进行了分析，也对Spark Streaming功能的改造和扩展提供了指导。 本书适合大数据领域CTO、架构师、高级软件工程师，尤其是Spark领域已有Spark Streaming 基础知识的从业人员阅读，也可供需要深入学习Spark、Spark Streaming的高校研究生和高年级本科生参考。

目录

• 第1章 Spark Streaming应用概述······1
• 1.1 Spark Streaming应用案例 ·······2
• 1.2　Spark Streaming应用剖析 ·····13
• 第2章 Spark Streaming基本原理····15
• 2.1　Spark Core简介 ··················16
• 2.2 Spark Streaming设计思想 ·····26
• 2.3 Spark Streaming整体架构 ·····30
• 2.4 编程接口 ·························33
• 第3章 Spark Streaming运行流程详解·············39
• 3.1 从StreamingContext的初始化到启动 ··········40
• 3.2 数据接收 ·························54
• 3.3 数据处理 ·························91
• 3.4 数据清理 ························115
• 3.5 容错机制 ························127
• 3.5.1 容错原理 ·························128
• 3.5.2 Driver容错机制 ·················152
• 3.5.3 Executor容错机制 ··············161
• 3.6 No Receiver方式 ···············167
• 3.7 输出不重复 ·····················175
• 3.8 消费速率的动态控制 ·········176
• 3.9 状态操作 ························189
• 3.10 窗口操作 ·······················212
• 3.11 页面展示 ·······················216
• 3.12 Spark Streaming应用程序的停止··········227
• 第4章Spark Streaming 性能调优机制···········237
• 4.1 并行度解析 ·····················238
• 4.1.1 数据接收的并行度 ·············238
• 4.1.2 数据处理的并行度 ·············240
• 4.2 内存······························240
• 4.3 序列化 ···························240
• 4.4 Batch Interval ···················241
• 4.5 Task ·······························242
• 4.6 JVM GC ·························242
• 第5章Spark 2.0中的流计算··········245
• 5.1 连续应用程序 ··················246
• 5.2 无边界表unbounded table ····248
• 5.3 增量输出模式 ··················249
• 5.4 API简化 ··························250
• 5.5 其他改进 ························250

学习笔记

Spark Streaming算子开发代码讲解

Spark Streaming算子开发实例 transform算子开发 transform操作应用在DStream上时，可以用于执行任意的RDD到RDD的转换操作，还可以用于实现DStream API中所没有提供的操作，比如说，DStreamAPI中并没有提供将一个DStream中的每个batch，与一个特定的RDD进行join的操作，DStream中的join算子只能join其他DStream，但是我们自己就可以使用transform操作来实现该功能。 实例：黑名单用户实时过滤 package StreamingDemoimport org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}/** * 实时黑名单过滤 */object TransformDemo { def main(args: Array[String]): Unit = { //设置日志级别 Logger.getLogger(org).setLevel(Level.WARN) va……

Spark学习笔记Spark Streaming的使用

1. Spark Streaming Spark Streaming是一个基于Spark Core之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理 Spark Streaing中有一个最基本的抽象叫DStream（代理）,本质上就是一系列连续的RDD，DStream其实就是对RDD的封装 DStream可以认为是一个RDD的工厂，该DStream里面生产都是相同业务逻辑的RDD，只不过是RDD里面要读取数据的不相同 在一个批次的处理时间间隔里， DStream只产生一个RDD DStream就相当于一个"模板", 我们可以根据这个"模板"来处理一段时间间隔之内产生的这个rdd,以此为依据来构建rdd的DAG 2. 当下比较流行的实时计算引擎 吞吐量 编程语言 处理速度 生态 Storm 较低 clojure 非常快(亚秒) 阿里(JStorm) ……

spark能跑Python么

spark能跑Python么？ spark是可以跑Python程序的。python编写好的算法，或者扩展库的，比如sklearn都可以在spark上跑。直接使用spark的mllib也是可以的，大部分算法都有。 Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。 本次实验是搭有spark环境的linux下跑的，spark版本为1.6.1，相当于在在spark本地执行，spark文件放在/opt/moudles/spark-1.6.1/（代码中会看到） 编写python测试程序 #test.py文件# -*- coding:utf-8 -*-import osimport sys#配置环境变量并导入pysparkos.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1'sys.path.append(/opt/moudles/spark-1.6.1/python)sys.path.append(/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zi……

详解Java编写并运行spark应用程序的方法

我们首先提出这样一个简单的需求： 现在要分析某网站的访问日志信息，统计来自不同IP的用户访问的次数，从而通过Geo信息来获得来访用户所在国家地区分布状况。这里我拿我网站的日志记录行示例，如下所示： 121.205.198.92 - - [21/Feb/2014:00:00:07 +0800] "GET /archives/417.html HTTP/1.1" 200 11465 "http://shiyanjun.cn/archives/417.html/" "Mozilla/5.0 (Windows NT 5.1; rv:11.0) Gecko/20100101 Firefox/11.0"121.205.198.92 - - [21/Feb/2014:00:00:11 +0800] "POST /wp-comments-post.php HTTP/1.1" 302 26 "http://shiyanjun.cn/archives/417.html/" "Mozilla/5.0 (Windows NT 5.1; rv:23.0) Gecko/20100101 Firefox/23.0"121.205.198.92 - - [21/Feb/2014:00:00:12 +0800] "GET /archives/417.html/ HTTP/1.1" 301 26 "http://shiyanjun.cn/archi……

以上就是本次介绍的Spark电子书的全部相关内容，希望我们整理的资源能够帮助到大家，感谢大家对码农之家的支持。

上一篇：自己动手做iOS App：从设计开发到上架App Store

下一篇：DevOps：原理、方法与实践