当前位置:首页 > 程序设计 >
《大数据处理系统:Hadoop源代码情景分析》电子书封面

大数据处理系统:Hadoop源代码情景分析

  • 发布时间:2020年06月03日 09:51:06
  • 作者:毛德操
  • 大小:13.6 MB
  • 类别:大数据电子书
  • 格式:PDF
  • 版本:高清版
  • 评分:8.3

    大数据处理系统:Hadoop源代码情景分析 PDF 高清版

      给大家带来的一篇关于大数据相关的电子书资源,介绍了关于大数据、Hadoop方面的内容,本书是由浙江大学出版社出版,格式为PDF,资源大小13.6 MB,毛德操编写,目前豆瓣、亚马逊、当当、京东等电子书综合评分为:8.8。

      内容介绍

      Hadoop是现阶段选用最广、最重要的一种开源系统的大数据处理服务平台,了解Hadoop的源代码,深层次了解其各种各样原理,针对把握大数据处理的技术性拥有不言而喻的必要性。毛德操著的《大数据处理系统(Hadoop源代码情景分析)》从大数据处理的原理刚开始,提到Hadoop的来历,从而叙述针对编码的研究思路,随后以Hadoop做为样版,比较详细地逐一剖析大数据处理服务平台各关键构成部分的编码,并从宏观经济上叙述这种一部分的联络和功效。

      这书延用作者与众不同而广火爆的场景统计分析方法和设计风格,从入门到精通直接通俗易懂,能够 做为大信息系统高级课程的教材内容,也可作为计算机技术技术专业和别的有关技术专业本科高学段学员和硕士研究生深层次学习大数据系统软件的教材。另外,还能够做为各制造行业从业开发软件和大数据挖掘的技术工程师、科学研究工作人员及其别的对大数据处理技术性很感兴趣者的自学教材。

      目录

      • 第1章 大数据与Hadoop
      • 第2章 研究方法
      • 第3章 Hadoop集群和YARN
      • 第4章 Hadoop的RPC机制
      • 第5章 Hadoop作业的提交
      • 第6章 作业的调度与指派
      • 第7章 NodeManager与任务投运
      • 第8章 MRAppMaster与作业投运
      • 第9章 YARN子系统的计算框架
      • 第10章 MapReduce框架中的数据流
      • 第11章 Hadoop的文件系统HDFS
      • 第12章 HDFS的DataNode
      • 第13章 DataNode与NameNode的互动
      • 第14章 DataNode间的互动
      • 第15章 HDFS的文件访问
      • 第16章 Hadoop的容错机制
      • 第17章 Hadoop的安全机制
      • 第18章 Hadoop的人机界面
      • 第19章 Hadoop的部署和启动
      • 第20章 Spark的优化与改进

      学习笔记

      基于Hadoop实现Knn算法

      Knn算法的核心思想是如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。Knn方法在类别决策时,只与极少量的相邻样本有关。由于Knn方法主要靠周围有限的邻近的样本,而不是靠判别类域的方法来确定所属类别的,因此对于类域的交叉或重叠较多的待分样本集来说,Knn方法较其他方法更为合适。 Knn算法流程如下: 1. 计算当前测试数据与训练数据中的每条数据的距离 2. 圈定距离最近的K个训练对象,作为测试对象的近邻 3. 计算这……

      Eclipse+Maven构建Hadoop项目的方法步骤

      Maven 翻译为”专家”、”内行”,是 Apache 下的一个纯 Java 开发的开源项目。基于项目对象模型(Project Object Model 缩写:POM)概念,Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。Maven 是一个项目管理工具,可以对 Java 项目进行构建、依赖管理。 在开发一些大型项目的时候,需要用到各种各样的开源包jar,为了方便管理及加载jar,使用maven开发项目可以节省大量时间且方便项目移动至新的开发环境。 开发环境 系统:MacOS 10.14.1 Hadoop:2.7.0 Java:1.8.0 Eclipse:4.6.2 Maven: 3.3.9 Maven安装 我使用的这个版本的Eclipse已经自带了Maven插件,不需要在自行安装,因此我也没有实际操作,本文就不介……

      Hadoop的安装与环境搭建教程图解

      一、 Hadoop 的安装 1. 下载地址:https://archive.apache.org/dist/hadoop/common/我下载的是hadoop-2.7.3.tar.gz版本。 2. 在/usr/local/ 创建文件夹zookeeper mkdir hadoop 3.上传文件到Linux上的/usr/local/source目录下 3.解压缩 运行如下命令: tar -zxvf hadoop-2.7.3.tar.gz-C /usr/local/hadoop 4. 修改配置文件 进入到 cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop/ , 修改 hadoop-env.sh 运行 vimhadoop-env.sh ,修改JAVA_HOME 5.将Hadoop的执行命令加入到我们的环境变量里 在/etc/profile文件中加入: export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.3/bin:/usr/local/hadoop/hadoop-2.7.3/sbin 执行/etc/profile文件: source /etc/profile 6. 将npfdev1机器上的hadoop复制到npfdev2和npfdev3和npfdev4机器上。使用下面的命令:……

      hadoop是什么语言

      Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算. Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算. 数据在Hadoop中处理的流程可以简单的按照下图来理解:数据通过Haddop的集群处理后得到结果. HDFS:HadoopDistributed File System,Hadoop的分布式文件系统. 大文件被分成默认64M一块的数据块分布存储在集群机器中. 如下图中的文件 data1被分成3块,这3块以冗余镜像的方式分布在不同的机器中. MapReduce:Hadoop为每一个input split创建一个task调用Map计算,在此task中……

      hadoop的wordcount实例用法分析

      可以通过一个简单的例子来说明MapReduce到底是什么: 我们要统计一个大文件中的各个单词出现的次数。由于文件太大。我们把这个文件切分成如果小文件,然后安排多个人去统计。这个过程就是Map。然后把每个人统计的数字合并起来,这个就是Reduce。 上面的例子如果在MapReduce去做呢,就需要创建一个任务job,由job把文件切分成若干独立的数据块,并分布在不同的机器节点中。然后通过分散在不同节点中的Map任务以完全并行的方式进行处理。MapReduce会对Map的输出地行收集,再将结果输出送给Reduce进行下一步的处理。 对于一个任务的具体执行过程,会有一个名为JobTracker的进程负责协调MapReduce执行过程中……

      以上就是本次介绍的大数据电子书的全部相关内容,希望我们整理的资源能够帮助到大家,感谢大家对码农之家的支持。

      上一篇:JavaScript入门经典

      下一篇:Python语言程序设计基础

      展开 +

      收起 -

      • 《大数据处理系统:Hadoop源代码情景分析》PDF下载

      下载地址:百度网盘下载
      大数据相关电子书
      Hadoop+Spark大数据巨量分析与机器学习整合开发实战
      Hadoop+Spark大数据巨量分析与机器学习整合开发实战 高清完整版

      《Hadoop Spark大数据巨量分析与机器学习整合开发实战》 从浅显易懂的大数据和机器学习原理介绍和说明入手,讲述大数据和机器学习的基本概念,如:分类、分析、训练、建模、预测、机器学

      立即下载
      Hadoop大数据处理
      Hadoop大数据处理 高质量版 立即下载
      Cloudera Hadoop大数据平台实战指南
      Cloudera Hadoop大数据平台实战指南 扫描版

      对于入门和学习大数据技术的读者来说,大数据技术的生态圈和知识体系过于庞大,可能还没有开始学习就已经陷入众多的陌生名词和泛泛的概念中。

      立即下载
      Hadoop+Spark生态系统操作与实战指南
      Hadoop+Spark生态系统操作与实战指南 原书影印版

      本书帮助读者快速上手Hadoop+Spark,全面解析Hadoop和Spark生态系统,通过实际操作,快速学习Hadoop+Spark大数据技术,使得读者了解当今互联网应用极为广泛的集群技术

      立即下载
      Hadoop大数据挖掘从入门到进阶实战
      Hadoop大数据挖掘从入门到进阶实战 影印版

      博客园资深博主、极客学院金牌讲师多年Hadoop实战经验分享;详解Hadoop完整的技术体系:基础部署、集群管理、底层设计、项目实战;200分钟配套视频;51个实例,10个案例,大量避坑技巧

      立即下载
      Hadoop大数据开发
      Hadoop大数据开发 超清版

      本书通过原理加案例的方式系统地讲解了Hadoop大数据开发,让读者能够全面地了解大数据开发流程。书中精心安排了原理分析、环境搭建、案例开发等多个过程,使读者对解决大数据问题有清

      立即下载
      Hadoop集群程序设计与开发
      Hadoop集群程序设计与开发 清晰扫描版

      本书系统地介绍了基于Hadoop的大数据处理和系统开发相关技术,包括初识Hadoop、Hadoop基础知识、Hadoop开发环境配置与搭建、Hadoop分布式文件系统、Hadoop的I/O操作、MapReduce编程基础、MapReduce不错编

      立即下载
      深度剖析Hadoop HDFS
      深度剖析Hadoop HDFS 高清版

      《深度剖析Hadoop HDFS》 基于Hadoop 2.7.1版本进行分析,全面描述了HDFS 2.X的核心技术与解决方案,书中描述了HDFS内存存储、异构存储等几大核心设计,包括源码细节层面的分析,对于HDFS中比较特

      立即下载
      读者留言
      刘志泽

      刘志泽 提供上传

      资源
      33
      粉丝
      35
      喜欢
      148
      评论
      4

      Copyright 2018-2020 www.xz577.com 码农之家

      投诉 / 推广 / 赞助:QQ:520161757