Hadoop+Spark生态系统操作与实战指南 PDF 原书清晰版

至于容错，MapReduce和Spark从两个不同的方向来解决问题。MapReduce使用TaskTracker节点，它为 JobTracker节点提供了心跳(heartbeat)。如果没有心跳，那么JobTracker节点重新调度所有将执行的操作和正在进行的操作，交 给另一个TaskTracker节点。这种方法在提供容错性方面很有效，可是会大大延长某些操作(即便只有一个故障)的完成时间。 Spark使用弹性分布式数据集(RDD)，它们是容错集合，里面的数据元素可执行并行操作。RDD可以引用外部存储系统中的数据集，比如共享式文件系统、HDFS、HBase，或者提供Hadoop InputFormat的任何数据源。Spark可以用Hadoop支持的任何存储源创建RDD，包括本地文件系统，或前面所列的其中一种文件系统。 RDD拥有五个主要属性： 分区列表 计算每个分片的函数 依赖其他RDD的项目列表 面向键值RDD的分区程序(比如说RDD是散列分区)，这是可选属性 计算每个分片的首选位置的列表(比如HDFS文件的数据块位置)，这是可选属性 RDD可能具有持久性，以便将数据集缓存在内存中。这样一来，以后的操作大大加快，最多达10倍。Spark的缓存具有容错性，原因在于如果RDD的任何分区丢失，就会使用原始转换，自动重新计算。

什么是HadoopTM？实际上这个答案Hadoop官网已经给的很明确： Hadoop是Apache软件基金会支持可靠的、可扩展的一个开源的分布式计算框架的工程。（PS：Apache软件基金会真是扛下了开源世界的半壁江山，旗下支持的开源的大数据项目大家有兴趣可以去官网访问一下。） 具体而言，Apache Hadoop软件库是一个允许使用简单编程模型跨计算机集群处理大型数据集合的框架，其设计的初衷是将单个服务器扩展成上千个机器组成的一个集群为大数据提供计算服务，其中每个机器都提供本地计算和存储服务。 Hadoop工程包括以下模块： Hadoop Common：支持其他Hadoop模块的通用工具。 Hadoop Distributed File System(HDFSTM)：提供高吞吐量的访问应用数据的一个分布式文件系统。 Hadoop YARN：一种作业调度和集群资源管理的框架。 Hadoop MapReduce：一种基于Yarn来处理大数据集合的系统。 Apache中其他Hadoop相关的项目包括： AmbariTM：一种用于提供、管理和监督Apache Hadoop集群的基于Web UI的且易于使用的Hadoop管理工具。 AvroTM：一种数据序列化系统。 CassandraTM：一种无单点故障的可扩展的分布式数据库。 ChukwaTM：一种用于管理大型分布式系统的数据收集系统。 HBaseTM：一种支持存储大型表的结构化存储的可扩展的分布式数据库。 HiveTM：一种提供数据汇总和特定查询的数据仓库。 MahoutTM：一种可扩展的机器学习和数据挖掘库（Scala语言实现，可结合Spark后端）。 PigTM：一种高级的数据流语言且支持并行计算的执行框架（2017年发布的最新版本0.17.0是添加了Spark上的Pig应用）。 SparkTM：一种用于Hadoop数据的快速通用计算引擎。Spark提供一种支持广泛应用的简单而易懂的编程模型，包括ETL（ Extract-Transform-Load）、机器学习、流处理以及图计算。 TezTM：一种建立在Hadoop YARN上数据流编程框架，它提供了一个强大而灵活的引擎来任意构建DAG（Directed-acyclic-graph）任务去处理用于批处理和交互用例的数据。 ZooKeeperTM：一种给分布式应用提供高性能的协同服务系统。