标签分类 热门分类
当前位置:首页 > 计算机理论电子书 > Hadoop电子书网盘下载
Hadoop大数据处理技术基础与实践 Hadoop大数据处理技术基础与实践
bluekrystal

bluekrystal 提供上传

资源
36
粉丝
41
喜欢
147
评论
17

    Hadoop大数据处理技术基础与实践 PDF 超清版

    Hadoop电子书
    • 发布时间:

    给大家带来的一篇关于Hadoop相关的电子书资源,介绍了关于Hadoop、大数据方面的内容,本书是由人民邮电出版社出版,格式为PDF,资源大小7.41 MB,安俊秀 王鹏 靳宇倡编写,目前豆瓣、亚马逊、当当、京东等电子书综合评分为:7.8,更多相关的学习资源可以参阅 计算机理论电子书、等栏目。

  • Hadoop大数据处理技术基础与实践 PDF 下载
  • 下载地址:https://pan.baidu.com/s/1ODoP7026384HMul5tW6bB
  • 分享码:zny3
  • Hadoop大数据处理技术基础与实践 PDF

    本书现有12章,从Hadoop渊源刚开始,介绍了Hadoop的安裝和配备,并对Hadoop的组件分別开展了介绍,包含HDFS分布式文件系统系统软件,MapReduce测算框架结构,大量数据库查询HBase,Hive数据仓库,Pig、ZooKeeper智能管理系统等专业知识,最终对Hadoop即时数据处理方法技术性作了简易介绍,旨在让读者掌握当今的其他的大数据处理技术性。这书除开对Hadoop的基础理论开展表明以外,还对怎么使用各组件开展了介绍,但介绍的仅仅基础的应用,沒有涉及最底层的高級內容,因此这书仅仅起一个正确引导功效,旨在让读者掌握Hadoop并可以应用Hadoop的基本要素,并非学习培训Hadoop的彻底指南。 这书适用高等学校的学员;是云计算技术专业、物联网专业及云计算与大数据专业的关键基础课程内容,都是计算机相关技术专业的一门增加专业科目或选修课;合适于零售及云计算与云计算技术有关的培训机构等应用。

    目录

    • Hadoop基础与实践 第1章Hadoop概述
    • 1.1 Hadoop来源和动机
    • 1.2 Hadoop体系架构
    • 1.3 Hadoop与分布式开发
    • 1.4 Hadoop行业应用案例分析
    • 1.4.1 Hadoop在门户网站的应用  
    • 1.4.2 Hadoop在搜索引擎中的应用  
    • 1.4.3 Hadoop在电商平台中的应用
    • 1.5小结 第2章Hadoop安装与配置管理  
    • 2.1 实验准备  
    • 2.2 配置一个单节点环境  
    • 2.2.1 运行一个虚拟系统CentOS  
    • 2.2.2 配置网络  
    • 2.2.3创建新的用户组和用户  
    • 2.2.4上传文件到CentOS并配置Java、Hadoop环境  
    • 2.2.5 修改Hadoop2.2配置文件  
    • 2.2.6修改CentOS主机名  
    • 2.2.7绑定hostname与IP  
    • 2.2.8关闭防火墙  
    • 2.3节点之间的免密码通信  
    • 2.3.1什么是SSH  
    • 2.3.2 拷贝虚拟机节点  
    • 2.3.3 配置SSH免密码登录  
    • 2.4 Hadoop的启动和测试  
    • 2.4.1 格式化文件系统
    • 2.4.2启动HDFS
    • 2.4.3 启动Yarn
    • 2.4.4 管理JobHistory Server
    • 2.4.5 集群验证
    • 2.4.6 需要了解的默认配置 2.5动态管理节点  
    • 2.5.1 动态增加和删除datanode  
    • 2.5.2 动态修改TaskTracker
    • 2.6小结 第3章HDFS技术
    • 3.1HDFS的特点
    • 3.2HDFS架构
    • 3.2.1数据块
    • 3.2.2元数据节点与数据节点
    • 3.2.3辅助元数据节点
    • 3.2.4安全模式
    • 3.2.5负载均衡
    • 3.2.6垃圾回收
    • 3.3HDFS Shell命令
    • 3.3.1文件处理命令
    • 3.3.2dfsadmin命令
    • 3.3.3namenode命令
    • 3.3.4fsck命令
    • 3.3.5pipes命令
    • 3.3.6job命令
    • 3.4HDFS中Java API的使用
    • 3.4.1上传文件
    • 3.4.2新建文件
    • 3.4.3查看文件详细信息
    • 3.4.4下载文件
    • 3.5RPC通信
    • 3.5.1反射机制
    • 3.5.2代理模式与动态代理
    • 3.5.3Hadoop RPC机制与源码分析
    • 3.6小结 第4章Map/Reduce技术 4

    上一篇:Android项目开发范例大全  下一篇:ACM国际大学生程序设计竞赛:题目与解读

    展开 +

    收起 -

     
    Hadoop 相关电子书
    关于Hadoop的学习笔记
    网友NO.642588

    Hadoop 中 HBase Shell命令的详解

    Hadoop 中 HBase Shell命令的详解 HBase包含可以与HBase进行通信的Shell。 HBase使用Hadoop文件系统来存储数据。所有这些任务发生在HDFS。下面给出的是一些由 常用的HBase Shell命令。 数据操纵语言 命令 说明 命令表达式 create 创建一个表 create '表名称', '列名称1','列名称2','列名称N' put 添加记录 put '表名称', '行名称', '列名称:', '值' get 查看记录 get '表名称', '行名称' count 查看表中的记录总数 count '表名称' delete 删除记录 delete '表名' ,'行名称' , '列名称' scan 查看所有数据 scan "表名称" scan 查看表某列数据 scan "表名称" , ['列名称:'] 数据定义语言 list 列出HBase的所有表 disable 禁用表 disable '表名称' is_disabled 验证表是否被禁用 is_disabled '表名称' enable 启用一个表 enable '表名称' is_enabled 验证表是否已启用 is_enabled '表名称' describe 提供了一个表的描述 describe '表名称' alter 改变一个表 exists 验证表是否存在 exists '表名称' drop 从HBase中删除表 drop '表名称' drop_all 丢弃在命令中给出匹配“regex”的表 truncate 清空整张表 truncate '表名称' deleteall 删除给定行的所有单元格 deleteall '表名称','行名称' 如有疑问请留言或者到本站社区交流讨论,感谢阅读,希望能帮助到大家,谢谢大家对本站的支持! ……

    网友NO.789182

    hadoop是什么语言

    Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算. Hadoop框架中最核心设计就是:HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算. 数据在Hadoop中处理的流程可以简单的按照下图来理解:数据通过Haddop的集群处理后得到结果. HDFS:HadoopDistributed File System,Hadoop的分布式文件系统. 大文件被分成默认64M一块的数据块分布存储在集群机器中. 如下图中的文件 data1被分成3块,这3块以冗余镜像的方式分布在不同的机器中. MapReduce:Hadoop为每一个input split创建一个task调用Map计算,在此task中依次处理此split中的一个个记录(record),map会将结果以key--value的形式输出,hadoop负责按key值将map的输出整理后作为Reduce的输入,Reduce Task的输出为整个job的输出,保存在HDFS上. Hadoop的集群主要由 NameNode,DataNode,Secondary NameNode,JobTracker,TaskTracker组成. 如下图所示: NameNode中记录了文件是如何被拆分成block以及这些block都存储到了那些DateNode节点. NameNode同时保存了文件系统运行的状态信息. DataNode中存储的是被拆分的blocks. Secondary NameNode帮助NameNode收集文件系统运行的状态信息. JobTracker当有任务提交到Hadoop集群的时候负责Job的运行,负责调度多个……

    网友NO.143513

    Hadoop之NameNode Federation知识点总结

    一. 前言 1.NameNode架构的局限性 (1)Namespace(命名空间)的限制 由于NameNode在内存中存储所有的元数据(metadata),因此单个NameNode所能存储的对象(文件+块)数目受到NameNode所在JVM的heap size的限制。50G的heap能够存储20亿(200million)个对象,这20亿个对象支持4000个DataNode,12PB的存储(假设文件平均大小为40MB)。随着数据的飞速增长,存储的需求也随之增长。单个DataNode从4T增长到36T,集群的尺寸增长到8000个DataNode。存储的需求从12PB增长到大于100PB。 (2)隔离问题 由于HDFS仅有一个NameNode,无法隔离各个程序,因此HDFS上的一个实验程序就很有可能影响整个HDFS上运行的程序。 (3)性能的瓶颈 由于是单个NameNode的HDFS架构,因此整个HDFS文件系统的吞吐量受限于单个NameNode的吞吐量。 2.HDFS Federation架构设计,如图所示 能不能有多个NameNode HDFS Federation架构设计 二.实现 NameNode HA是为了解决NameNode可用性的问题,而NameNode Federation则主要是为了解决NameNode扩展性,隔离性,以及单个NameNode性能方面的问题。NameNode Federation架构如下: NameNode Federation使用了多个命名空间,这些命名空间互相独立,自制(其实是对元数据的水平切分),而集群中所有DataNode向所有NameNode都进行注册,而一个块池(block pool)有属于同一个命名空间的数据块组成,……

    网友NO.105690

    VMware虚拟机下hadoop1.x的安装方法

    这是Hadoop学习全程记录第1篇,在这篇里我将介绍一下如何在Linux下安装Hadoop1.x。 先说明一下我的开发环境: 虚拟机:VMware8.0; 操作系统:CentOS6.4; 版本:jdk1.8;hadoop1.2.1 ①下载hadoop1.2.1,网盘:链接: https://pan.baidu.com/s/1sl5DMIp 密码: 5p67 下载jdk1.8,网盘:链接: https://pan.baidu.com/s/1boN1gh5 密码: t36h 将 jdk-8u144-linux-x64.tar.gz 解压至 /home/wyt/jdk8 文件夹下,将 hadoop-1.2.1.tar.gz 解压至 /home/wyt/hadoop 文件夹下。 ②配置jdk及hadoop环境变量:修改/etc/profile文件 vim /etc/profile//输入I,进入编辑模式 export JAVA_HOME=/home/wyt/jdk8export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/libexport HADOOP_HOME=/home/wyt/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin //按Esc,按Shift,输入:wqsource /etc/profile //保存并退出 ③测试 java,javac,java -versionhadoop ④修改hadoop配置文件 !-- hadoop-env.sh --export JAVA_HOME=/usr/java/jdk8!-- core-site.xml -- property namehadoop.tmp.dir/name value/hadoop/value /property property namedfs.name.dir/name value/hadoop/name/value /property property namefs.default.name/name valuehdfs://localhost:9000/value /property!-- hdfs-site.xml --propertynamedfs.data.dir/namevalue/hadoop/data/value/property!-- mapred-site.xml --propertynamemapred.job.tracker/namevaluelocalhost:9001/value/property 并在hadoop安装目录下新建data、name、tmp文件夹。 ⑤名称节点格式化,并查看运行状态 ……

    Copyright 2018-2020 xz577.com 码农之家

    电子书资源由网友、会员提供上传,本站记录提供者的基本信息及资源来路

    鸣谢: “ 码小辫 ” 公众号提供回调API服务、“ 脚本CDN ”提供网站加速(本站寻求更多赞助支持)

    版权投诉 / 书籍推广 / 赞助:520161757@qq.com

    上传资源(网友、会员均可提供)

    查看最新会员资料及资源信息