Hadoop高级编程：构建与实现大数据解决方案 PDF 完整超清版

如果你已经准备好要充分实施大规模可扩展性数据分析工作，那么需要知道如何利用Hadoop技术。《Hadoop高级编程：构建与实现大数据解决方案》可以帮助你做到这一点！本书关注用于构建先进的、基于Hadoop的企业级应用的架构和方案，并为实现现实的解决方案提供深入的、代码级的讲解。本书还会带你领略数据设计以及数据设计如何影响实现。本书解释了MapReduce的工作原理，并展示了如何在MapReduce中重新定制特定的业务问题。在整本书中，你将会发现深入的Java代码示例，这些代码示例可以直接使用，它们均源自于已经成功地构建和部署的应用程序。

目录

• 第1章 大数据和Hadoop生态系统
• 1.1 当大数据遇见Hadoop
• 1.1.1 Hadoop：直面大数据的挑战
• 1.1.2 商业世界中的数据科学
• 1.2 Hadoop生态系统
• 1.3 Hadoop核心组件
• 1.4 Hadoop发行版
• 1.5 使用Hadoop开发企业级应用
• 1.6 小结
• 第2章 Hadoop数据存储
• 2.1 HDFS
• 2.1.1 HDFS架构
• 2.1.2 使用HDFS文件
• 2.1.3 Hadoop特定的文件类型
• 2.1.4 HDFS联盟和高可用性
• 2.2 HBase
• 2.2.1 HBase架构
• 2.2.2 HBase结构设计
• 2.2.3 HBase编程
• 2.2.4 HBase新特性
• 2.3 将HDFS和HBase的组合用于高效数据存储
• 2.4 使用Apache Avro
• 2.5 利用HCatalog管理元数据
• 2.6 为应用程序选择合适的Hadoop数据组织形式
• 2.7 小结
• 第3章 使用MapReduce处理数据
• 3.1 了解MapReduce
• 3.1.1 MapReduce执行管道
• 3.1.2 MapReduce中的运行时协调和任务管理
• 3.2 第一个MapReduce应用程序
• 3.3 设计MapReduce实现
• 3.3.1 将MapReduce用作并行处理框架
• 3.3.2 使用MapReduce进行简单的数据处理
• 3.3.3 使用MapReduce构建连接
• 3.3.4 构建迭代式MapReduce应用程序
• 3.3.5 是否使用MapReduce
• 3.3.6 常见的MapReduce设计陷阱
• 3.4 小结
• 第4章 自定义MapReduce执行
• 4.1 使用InputFormat控制MapReduce执行
• 4.1.1 为计算密集型应用程序实现InputFormat
• 4.1.2 实现InputFormat以控制Map的数量
• 4.1.3 实现用于多个HBase表的InputFormat
• 4.2 使用自定义RecordReader以自己的方式读取数据
• 4.2.1 实现基于队列的RecordReader
• 4.2.2 为XML数据实现RecordReader
• 4.3 使用自定义输出格式组织输出数据
• 4.4 使用自定义记录写入器以自己的方式写入数据
• 4.5 使用组合器优化MapReduce执行
• 4.6 使用分区器控制Reducer执行
• 4.7 在Hadoop中使用非Java代码
• 4.7.1 Pipes
• 4.7.2 Hadoop Streaming
• 4.7.3 使用JNI
• 4.8 小结
• 第5章 构建可靠的MapReduce应用程序
• 5.1 单元测试MapReduce应用程序
• 5.1.1 测试Mapper
• 5.1.2 测试Reducer
• 5.1.3 集成测试
• 5.2 使用Eclipse进行本地应用程序测试
• 5.3 将日志用于Hadoop测试
• 5.4 使用作业计数器报告指标
• 5.5 MapReduce中的防御性编程
• 5.6 小结
• 第6章 使用Oozie自动化数据处理
• 6.1 认识Oozie
• 6.2 Oozie Workflow
• 6.2.1 在Oozie Workflow中执行异步操作
• 6.2.2 Oozie的恢复能力
• 6.2.3 Oozie Workflow作业的生命周期
• 6.3 Oozie Coordinator
• 6.4 Oozie Bundle
• 6.5 用表达式语言对Oozie进行参数化
• 6.5.1 Workflow函数
• 6.5.2 Coordinator函数
• 6.5.3 Bundle函数
• 6.5.4 其他EL函数
• 6.6 Oozie作业执行模型
• 6.7 访问Oozie
• 6.8 Oozie SLA
• 6.9 小结
• 第7章 使用Oozie
• 7.1 使用探测包验证位置相关信息的正确性
• 7.2 设计基于探测包的地点正确性验证
• 7.3 设计Oozie Workflow
• 7.4 实现Oozie Workflow应用程序
• 7.4.1 实现数据准备Workflow
• 7.4.2 实现考勤指数和聚类探测包串Workflow
• 7.5 实现 Workflow行为
• 7.5.1 发布来自java动作的执行上下文
• 7.5.2 在Oozie Workflow中使用MapReduce作业
• 7.6 实现Oozie Coordinator应用程序
• 7.7 实现Oozie Bundle应用程序
• 7.8 部署、测试和执行Oozie应用程序
• 7.8.1 部署Oozie应用程序
• 7.8.2 使用Oozie CLI执行Oozie应用程序
• 7.8.3 向Oozie作业传递参数
• 7.9 使用Oozie控制台获取Oozie应用程序信息
• 7.9.1 了解Oozie控制台界面
• 7.9.2 获取 Coordinator作业信息
• 7.10 小结
• 第8章 高级Oozie特性
• 8.1 构建自定义Oozie Workflow动作
• 8.1.1 实现自定义Oozie Workflow动作
• 8.1.2 部署Oozie自定义Workflow动作
• 8.2 向Oozie Workflow添加动态执行
• 8.2.1 总体实现方法
• 8.2.2 一个机器学习模型、参数和算法
• 8.2.3 为迭代过程定义Workflow
• 8.2.4 动态Workflow生成
• 8.3 使用Oozie Java API
• 8.4 在Oozie应用中使用uber jar包
• 8.5 数据吸收传送器
• 8.6 小结
• 第9章 实时Hadoop
• 9.1 现实世界中的实时应用
• 9.2 使用HBase来实现实时应用
• 9.2.1 将HBase用作图片管理系统
• 9.2.2 将HBase用作Lucene后端
• 9.3 使用专门的实时Hadoop查询系统
• 9.3.1 Apache Drill
• 9.3.2 Impala
• 9.3.3 实时查询和MapReduce的对比
• 9.4 使用基于Hadoop的事件处理系统
• 9.4.1 HFlame
• 9.4.2 Storm
• 9.4.3 事件处理和MapReduce的对比
• 9.5 小结
• 第10章 Hadoop安全
• 10.1 简要的历史：理解Hadoop安全的挑战
• 10.2 认证
• 10.2.1 Kerberos认证
• 10.2.2 委派安全凭据
• 10.3 授权
• 10.3.1 HDFS文件访问权限
• 10.3.2 服务级授权
• 10.3.3 作业授权
• 10.4 Oozie认证和授权
• 10.5 网络加密
• 10.6 使用Rhino项目增强安全性
• 10.6.1 HDFS磁盘级加密
• 10.6.2 基于令牌的认证和统一的授权框架
• 10.6.3 HBase单元格级安全
• 10.7 将所有内容整合起来--保证Hadoop安全的最佳实践
• 10.7.1 认证
• 10.7.2 授权
• 10.7.3 网络加密
• 10.7.4 敬请关注Hadoop的增强功能
• 10.8 小结
• 第11章 在AWS上运行Hadoop应用
• 11.1 初识AWS
• 11.2 在AWS上运行Hadoop的可选项
• 11.2.1 使用EC2实例的自定义安装
• 11.2.2 弹性MapReduce
• 11.2.3 做出选择前的额外考虑
• 11.3 理解EMR-Hadoop的关系
• 11.3.1 EMR架构
• 11.3.2 使用S3存储
• 11.3.3 最大化EMR的使用
• 11.3.4 利用CloudWatch和其他AWS组件
• 11.3.5 访问和使用EMR
• 11.4 使用AWS S3
• 11.4.1 理解桶的使用
• 11.4.2 使用控制台浏览内容
• 11.4.3 在S3中编程访问文件
• 11.4.4 使用MapReduce上传多个文件到S3
• 11.5 自动化EMR作业流创建和作业执行
• 11.6 管理EMR中的作业执行
• 11.6.1 在EMR集群上使用Oozie
• 11.6.2 AWS 简单工作流
• 11.6.3 AWS数据管道
• 11.7 小结
• 第12章 为Hadoop实现构建企业级安全解决方案
• 12.1 企业级应用的安全顾虑
• 12.1.1 认证
• 12.1.2 授权
• 12.1.3 保密性
• 12.1.4 完整性
• 12.1.5 审计
• 12.2 Hadoop安全没有为企业级应用原生地提供哪些机制
• 12.2.1 面向数据的访问控制
• 12.2.2 差分隐私
• 12.2.3 加密静止的数据
• 12.2.4 企业级安全集成
• 12.3 保证使用Hadoop的企业级应用安全的方法
• 12.3.1 使用Accumulo进行访问控制保护
• 12.3.2 加密静止数据
• 12.3.3 网络隔离和分隔方案
• 12.4 小结
• 第13章 Hadoop的未来
• 13.1 使用DSL简化MapReduce编程
• 13.1.1 什么是DSL
• 13.1.2 Hadoop的DSL
• 13.2 更快、更可扩展的数据处理
• 13.2.1 Apache YARN
• 13.2.2 Tez
• 13.3 安全性的改进
• 13.4 正在出现的趋势
• 13.5 小结
• 附录 有用的阅读