Hadoop技术详解

Hadoop技术详解 PDF 超清版

  • 大小:49.26MB
  • 类型:Hadoop
  • 格式:PDF
  • 热度:950
  • 作者:萨默
  • 更新:2021-11-29 09:24:45
vip 立即下载( 49.26MB )
关注公众号免费下载
版权投诉 / 资源反馈(本资源由用户 翟茂材 投稿)

作者:(美)萨默 著,刘敏,麦耀锋,李冀蕾 等译 出版时间:2013 丛编项: 十二五国家重点图书出版规划项目 Hadoop正在成为数据中心进行大型数据处理的实际标准,但市场中却一直缺少关于它的详细操作说明书Hadoop技术详解/十二五国家重点图书出版规划项目》作者EricSammer系Cloudera公司的首席架构师,全书将从计划、安装、配置Hadoop系统开始讲起,一直深入到系统调试、维护等方面的知识,向读者展示了Hadoop生产运行环境的详细情况。同时,《Hadoop技术详解/十二五国家重点图书出版规划项目》并不只是简述所有的操作工序,而是突出示范了关键部署中的关键操作。Hadoop技术详解/十二五国家重点图书出版规划项目》适合对大数据感兴趣的爱好者以及正在使用Hadoop系统的数据库管理员阅读使用。 目录 第1章 简介 第2章 HDFS 2.1 目标和动机 2.2 设计 2.3 守护进程 2.4 读写数据 2.4.1 数据读取流程 2.4.2 数据写操作流程 2.5 管理文件系统元数据 2.6 NameNode的高可用性 2.7 NameNode联盟 2.8 访问与集成 2.8.1 命令行工具 2.8.2 用户空间文件系统(FUSE) 2.8.3 表示状态传输(REST)的支持 第3章 MapReduce 3.1 MapReduce的若干阶段 3.2 Hadoop MapReduce简介 3.2.1 后台程序 3.2.2 出错处理 3.3 YARN 第4章 规划一个Hadoop集群 4.1 挑选Hadoop的发行版本 4.1.1 Apache Hadoop 4.1.2 Cloudera的Apache Hadoop发行版本 4.1.3 版本和功能 4.1.4 我应该使用哪个版本 4.2 硬件选型 4.2.1 主节点硬件的选择 4.2.2 工作节点的硬件选择 4.2.3 集群的大小 4.2.4 刀片服务器、存储区域网络(SAN)和虚拟化 4.3 操作系统的选择和准备 4.3.1 部署规划 4.3.2 软件 4.3.3 主机名、DNS和标识 4.3.4 用户、组和特权 4.4 内核调整 4.4.1 vm.swappiness 4.4.2 vm.overcommit_memory 4.5 磁盘配置 4.5.1 选择文件系统 4.5.2 挂载选项 4.6 网络设计 4.6.1 Hadoop中的网络使用:回顾 4.6.2 1 Gb与10 Gb网络 4.6.3 典型的网络拓扑 第5章 安装和配置 5.1 安装Hadoop 5.1.1 Apache Hadoop 5.1.2 CDH 5.2 配置概述 5.3 环境变量和Shell脚本 5.4 日志配置 5.5 HDFS 5.5.1 识别和定位 5.5.2 优化与调整 5.5.3 格式化NameNode 5.5.4 创建/tmp目录 5.6 NameNode的高可靠性 5.6.1 隔离(Fencing)选项 5.6.2 基本配置 5.6.3 自动失效备援配置 5.6.4 格式化和引导NameNode启动 5.7 NameNode联盟(Federation) 5.8 MapReduce 5.8.1 识别和定位 5.8.2 优化和调整 5.9 机架拓扑 5.10 安全 第6章 用户标识、身份验证和授权 6.1 用户标识 6.2 Kerberos和Hadoop 6.2.1 Kerberos 6.2.2 Hadoop上的Kerberos支持 6.3 授权 6.3.1 HDFS 6.3.2 MapReduce 6.3.3 其他工具和系统 6.4 集成试试 第7章 资源管理 7.1 何谓资源管理 7.2 HDFS配额 7.3 MapReduce 调度器 7.3.1 先进先出(FIFO)调度器 7.3.2 公平调度器 7.3.3 计算能力调度器(Capacity Scheduler) 7.3.4 未来发展 第8章 集群维护 8.1 Hadoop流程管理 8.1.1 用初始化脚本管理进程 8.1.2 手动管理进程 8.2 HDFS维护任务 8.2.1 添加一个DataNode 8.2.2 卸载DataNode 8.2.3 用fsck来检查文件系统的一致性 8.2.4 HDFS块数据均衡 8.2.5 处理坏磁盘 8.3 MapReduce维护任务 8.3.1 添加tasktracker 8.3.2 卸载tasktracker 8.3.3 终结MapReduce 作业 8.3.4 终结MapReduce任务 8.3.5 处理列入黑名单的tasktracker 第9章 故障分析与排查 9.1 鉴别诊断(Differential Diagnosis) 9.2 故障和问题 9.2.1 人类(自己) 9.2.2 配置错误 9.2.3 硬件故障 9.2.4 资源枯竭 9.2.5 主机标识和命名 9.2.6 网络分区 9.3 计算机插好了么? 9.4 治疗和护理 9.5 实战案例 9.5.1 神秘的瓶颈 9.5.2 127.0.0.1这个地址不存在 第10章 监控 10.1 概览 10.2 Hadoop度量(Metrics) 10.2.1 Apache Hadoop 0.20.0和CDH3 (metrics1) 10.2.2 Apache Hadoop 0.20.203及之后的版本、CDH4(metrics2) 10.2.3 SNMP 10.3 健康监控 10.3.1 主机级别的检查 10.3.2 所有Hadoop进程 10.3.3 HDFS检查 10.3.4 MapReduce检查 第11章 备份与恢复 11.1 数据备份 11.1.1 分布式拷贝(distcp) 11.1.2 并行提取数据 11.2 NameNode元数据 附录 弃用的配置属性

相关资源

  • 《从0到1:HTML+CSS快速上手》PPT,视频课,源码

    《从0到1:HTML+CSS快速上手》PPT,视频课,源码

    编辑推荐 源自阅读量破6000万的人气教程 适合零基础初学者,1小时快速上手,3天轻松入门 通俗易懂,风趣幽默,原来前端还能这么好玩儿 每一节都配有微视频,每一章都配有大量练习 同步视频+配套练习+课件PPT+源码素材+作者答疑 如果你需要的不是大而全,而是恰到好处的前端开发教程,那么不妨试着看一下这本书。本书源于作者在绿叶学习网分享的超人气在线教程。由于教程的风格****、质量很高,因而累积获得超过十万读者的支持。为了更好地帮

    大小:960 MBweb前端配套资源

  • 操作系统原理(第4版)

    操作系统原理(第4版) 课后答案

    《操作系统原理(第4版)》系统地阐述了现代操作系统的基本原理、主要功能及实现技术;讨论了现代操作系统的虚拟技术及用户界面;重点介绍了多用户、多任务的运行机制及操作系统资源管理策略和方法;以UNIX系统为例,介绍了操作系统的实现技术。书中还增加了分布式系统内容,并就分布式系统的定义、特征、模型,以及资源管理与一致性问题进行了讨论。 《操作系统原理(第4版)》既可作为高等院校计算机类本科、专科各专业和其他相关专业教材

    大小:509 KB操作系统课后答案

  • 实变函数与泛函分析基础(第3版)

    实变函数与泛函分析基础(第3版) 课后答案

    本次修订是在第二版的基础上进行的,作者根据多年来的使用情况以及数学的近代发展,做了部分但是重要的修改。《实变函数与泛函分析基础(第3版)》共11章:实变函数部分包括集合、点集、测度论、可测函数、积分论、微分与不定积分;泛函分析则主要涉及赋范空间、有界线性算子、泛函、内积空间、泛函延拓、一致有界性以及线性算子的谱分析理论等内容。 这次修订继续保持简明易学的风格,力图摆脱纯形式推演的论述方式,着重介绍实变函数与

    大小:92.1 KB函数课后答案

  • C++语言程序设计(第三版)

    C++语言程序设计(第三版) 课后答案

    本书是原《C++语言程序设计习题与实验指导》一书的基础上编写的,作为与《C++语言程序设计(第3版)》配套的学生用书。本书首先给出了一个简要的学习指南,其余章节与主教材《C++语言程序设计(第3版)》相对应,每章内容分为3部分:第一部分是要点导读,主要是为自学读者指明学习重点,建议学习方法。第二部分是实验指导,每章都有一个精心设计的实验,与《C++语言程序设计(第3版)》相应章内容配合,使读者在实践中达到对主教材内容的深

    大小:4.74 MBC++语言课后答案

  • 汇编语言程序设计教程(第2版)

    汇编语言程序设计教程(第2版) 课后答案

    《汇编语言程序设计教程(第二版)》是2008年清华大学出版社出版的图书,作者是卜艳萍、周伟。 本书以IBM PC为背景系统,介绍微型计算机原理的基础知识及汇编语言程序设计的方法和技术。全书共分9章,第1章和第2章介绍微型计算机基础知识以及80x86机型的系统结构;第3章详细介绍IBM PC的寻址方式和指令系统;第4章介绍伪指令、汇编语言程序格式等知识;第5章讲述高级汇编技术,包括宏汇编、条件汇编、重复汇编等;第6章讲述顺序程序设计、分支

    大小:10.6 MB汇编教程课后答案

  • 《Word/Excel/PPT 2021办公应用实战从入门到精通》配套资源

    《Word/Excel/PPT 2021办公应用实战从入门到精通》配套资源

    本书通过精选案例引导读者深入学习,系统地介绍Word/Excel/PPT 2021的相关知识和应用方法。全书共17章。第1~4章主要介绍Word 2021的相关内容,包括Word文档的基本编辑、Word文档的美化处理、表格的绘制与应用、长文档的排版与处理等;第5~9章主要介绍Excel 2021的相关内容,包括Excel工作簿和工作表的基本操作、管理和美化工作表、Excel公式和函数、数据的基本分析、数据的高级分析等;第10~12章主要介绍PPT 2021的相关内容,包括PowerPoint基本幻灯片的制

    大小:800 MB办公应用配套资源

  • 应用密码学

    应用密码学 课后答案

    本书兼具专著和教材的双重属性,是作者从事多年的应用密码学相关教学和科研工作实践的结晶。本书全面介绍了应用密码学的基本概念、基本理论和典型实用技术。全书共分十五章,内容涉及密码学基础、古典密码、密码学数学引论、对称密码体制、非对称密码体制、HASH函数和消息认证、数字签名、密钥管理、序列密码、量子密码。书中还介绍了应用密码学在电子商务支付安全、数字通信安全、工业网络控制安全和无线传感器网络感知安全这四个典型

    大小:1.64 MB密码学课后答案

  • 《行政管理实操从入门到精通》配套资源

    《行政管理实操从入门到精通》配套资源

    编辑推荐 模块清晰。全书分为三大部分,即岗位职责、管理技能和专业技能。通过学习岗位职责部分,行政管理人员可以了解到本部门的职责权限以及自身的工作内容;通过学习管理技能部分,行政管理人员可以掌握在工作中需要用到的各种管理知识;通过学习专业技能部分,行政管理人员可以学到本岗位需要掌握的各种实操技巧和方法。n 365天,每天一个知识点。本书的亮点是把行政管理人员需要掌握的各项技能分解到365天当中,形成了365个知识点。

    大小:68 MB行政管理配套资源

下载地址

相关声明:

学习笔记