Hadoop YARN权威指南 PDF 完整版

给大家整理了Hadoop相关的资料，介绍了关于Hadoop、YARN方面，格式为PDF，资源大小41.6 MB，目前在Hadoop类资源综合评分为：9.7分。

《 Hadoop YARN权威指南 》由YARN的建立和开发设计团体亲笔编写，Altiscale的CEO作序鼎力推荐，是应用HadoopYARN创建分布式系统、大数据的应用的权威手册。书里利用好几个案例，详解HadoopYARN的安装和管理，以协助客户应用YARN开展应用程序开发，并在YARN上运作除开MapReduce以外的新架构。 《Hadoop YARN权威指南》共12章，第1章讲述ApacheHadoopYARN造成和发展趋势的历史时间；第二章解读在每台设备（服务中心、网络服务器或笔记本）上迅速安装Hadoop2.0；第三章详细介绍ApacheHadoopYARN資源管理器；第四章简略详细介绍YARN部件的作用，协助阅读者刚开始深入了解YARN；第五章详尽解读YARN的安装方式 ，包含一个根据脚本制作的手动式安装，及其应用ApacheAmbari根据GUI的安装；第六章讲述对YARN集群的管理，涉及到一些基础的YARN管理情景，详细介绍怎样利用Nagios和Ganglia监控器集群，阐述对JVM的监控，并详细介绍Ambari的管理页面；第7章深层次研究YARN的构架，向阅读者展现YARN的內部工作中缘故；第八章深层次探讨Capacity生产调度器；第9章叙述根据目前MapReduce的程序运行怎样再次工作中及其利用YARN的优点；第10章根据建立一个JBossApplicationServer集群的全过程，讲述怎样搭建一个YARN程序运行；第11章叙述创建在YARN上的典型性实例程序流程distributedshell的应用和內部状况；第12章小结运作在YARN上的兴盛开源框架。最终出示六个附则，包含填补內容和编码免费下载、YARN的安装脚本制作、YARN管理脚本制作、Nagios模块、資源以及他信息内容、HDFS迅速参照。 目录 译者序 推荐序一 推荐序二 前 言 第1章 Apache Hadoop YARN：简明历史及基本原理 1 1.1 引言 1 1.2 Apache Hadoop 2 1.3 阶段0：Ad Hoc集群时期 3 1.4 阶段1：Hadoop on Demand 3 1.4.1 HOD世界中的HDFS 5 1.4.2 HOD的特色及优势 5 1.4.3 HOD的缺点 6 1.5 阶段2：共享计算集群的黎明 8 1.5.1 共享集群的演进 8 1.5.2 使用共享MapReduce集群的问题 13 1.6 阶段3：YARN的出现 15 1.7 小结 16 第2章 Apache Hadoop YARN安装快速入门 17 2.1 准备开始 18 2.2 配置单节点YARN集群的步骤 18 2.2.1 第1步：下载Apache Hadoop 18 2.2.2 第2步：设置JAVA_HOME 19 2.2.3 第3步：创建用户和用户组 19 2.2.4 第4步：创建数据和日志目录 19 2.2.5 第5步：配置core-site.xml 19 2.2.6 第6步：配置hdfs-site.xml 20 2.2.7 第7步：配置mapred-site.xml 21 2.2.8 第8步：配置yarn-site.xml 21 2.2.9 第9步：调整Java堆大小 21 2.2.10 第10步：格式化HDFS 22 2.2.11 第11步：启动HDFS服务 22 2.2.12 第12步：启动YARN服务 23 2.2.13 第13步：通过Web接口验证正在运行的服务 24 2.3 运行MapReduce示例程序 25 2.4 小结 26 第3章 Apache Hadoop YARN的核心概念 27 3.1 不只是MapReduce 27 3.2 Apache Hadoop MapReduce 29 3.2.1 支持非MapReduce应用的需求 30 3.2.2 解决可扩展性 30 3.2.3 提高资源使用率 30 3.2.4 用户敏捷性 30 3.3 Apache Hadoop YARN 31 3.4 YARN组件 32 3.4.1 ResourceManager 32 3.4.2 ApplicationMaster 32 3.4.3 资源模型 33 3.4.4 ResourceRequest和Container 33 3.4.5 Container规范 34 3.5 小结 34 第4章 YARN组件的功能概述 35 4.1 体系架构概述 35 4.2 ResourceManager 37 4.3 YARN调度组件 38 4.3.1 FIFO调度器 38 4.3.2 Capacity调度器 38 4.3.3 Fair调度器 39 4.4 Container 40 4.5 NodeManager 40 4.6 ApplicationMaster 41 4.7 YARN资源模型 41 4.7.1 客户端资源请求 42 4.7.2 ApplicationMaster Container的分配 42 4.7.3 ApplicationMaster与Container管理器的通信 44 4.8 管理应用程序的依赖文件 44 4.8.1 LocalResource的定义 44 4.8.2 LocalResource时间戳 45 4.8.3 LocalResource类型 46 4.8.4 LocalResource的可见性 46 4.8.5 LocalResource的生命周期 47 4.9 小结 47 第5章 安装Apache Hadoop YARN 49 5.1 基础知识 49 5.2 系统准备 50 5.2.1 第1步：安装EPEL和pdsh 50 5.2.2 第2步：生成和分发ssh密钥 51 5.3 基于脚本安装Hadoop 2 51 5.3.1 JDK选项 52 5.3.2 第1步：下载并解压脚本 52 5.3.3 第2步：设置脚本里的变量 52 5.3.4 第3步：提供节点名字 53 5.3.5 第4步：运行脚本 54 5.3.6 第5步：验证安装 54 5.4 基于脚本的卸载 57 5.5 配置文件处理 57 5.6 配置文件设置 57 5.6.1 core-site.xml 57 5.6.2 hdfs-site.xml 58 5.6.3 mapred-site.xml 58 5.6.4 yarn-site.xml 59 5.7 启动脚本 59 5.8 用Apache Ambari安装Hadoop 60 5.8.1 基于Ambari安装Hadoop 61 5.8.2 第1步：检查要求 61 5.8.3 第2步：安装Ambari服务器 62 5.8.4 第3步：安装和启动Ambari代理 62 5.8.5 第4步：启动Ambari服务器 62 5.8.6 第5步：安装HDP2.X集群 63 5.9 小结 70 第6章 Apache Hadoop YARN的管理 71 6.1 基于脚本的配置 71 6.2 监控集群健康：Nagios 76 6.2.1 监控基本的Hadoop服务 77 6.2.2 监控JVM 80 6