标签分类
当前位置:首页 > 程序设计电子书 > Hadoop电子书网盘下载
Hadoop应用架构 Hadoop应用架构
cngzth

cngzth 提供上传

资源
11
粉丝
42
喜欢
202
评论
12

    Hadoop应用架构 PDF 高清版

    Hadoop电子书
    • 发布时间:

    给大家带来的一篇关于Hadoop相关的电子书资源,介绍了关于Hadoop、应用、架构方面的内容,本书是由人民邮电出版社出版,格式为PDF,资源大小13.2 MB,马克·格洛沃编写,目前豆瓣、亚马逊、当当、京东等电子书综合评分为:9.6,更多相关的学习资源可以参阅 程序设计电子书、等栏目。

  • Hadoop应用架构 PDF 下载
  • 下载地址:https://pan.baidu.com/s/1PkgGOPwlp8ftemCHAXPabA
  • 分享码:c2o7
  • Hadoop应用架构 PDF

    本书就使用Apache Hadoop端到端数据管理方案提供专业架构指导。其他书籍大多针对Hadoop生态系统中的软件,讲解较为单一的使用方法,而本书偏重实践,在架构的高度详细阐释诸多工具如何相互配合,搭建出打磨之后的完整应用。书中提供了诸多案例,易于理解,配有详细的代码解析,知识点一目了然。

    为加强训练,本书后半部分提供了详细的案例,涵盖最为常见的Hadoop应用架构。无论是设计Hadoop应用,还是将Hadoop同现有数据基础架构集成,本书都可以提供详实的参考。

    目录

    • 版权声明
    • O'Reilly Media, Inc. 介绍
    • 译者序
    • 前言
    • 第一部分 考虑 Hadoop 应用的架构设计
    • 第 1 章 Hadoop 数据建模
    • 第 2 章 Hadoop 数据移动
    • 第 3 章 Hadoop 数据处理
    • 第 4 章 Hadoop 数据处理通用范式
    • 第 5 章 Hadoop 图处理
    • 第 6 章 协调调度
    • 第 7 章 Hadoop 近实时处理
    • 第二部分 案例研究
    • 第 8 章 点击流分析
    • 第 9 章 欺诈检测
    • 第 10 章 数据仓库
    • 附录 A Impala 中的关联
    • 作者简介
    • 封面介绍

    读书笔记

    Hadoop的安装与环境搭建教程图解

    一、Hadoop的安装

    1. 下载地址:https://archive.apache.org/dist/hadoop/common/我下载的是hadoop-2.7.3.tar.gz版本。

    2. 在/usr/local/ 创建文件夹zookeeper

    mkdir hadoop

    Hadoop的安装与环境搭建教程图解

    3.上传文件到Linux上的/usr/local/source目录下

    Hadoop的安装与环境搭建教程图解

    3.解压缩

    运行如下命令:

    tar -zxvf hadoop-2.7.3.tar.gz-C /usr/local/hadoop

    Hadoop的安装与环境搭建教程图解

    4. 修改配置文件

    进入到cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop/ , 修改hadoop-env.sh

    Hadoop的安装与环境搭建教程图解

    运行 vimhadoop-env.sh,修改JAVA_HOME

    Hadoop的安装与环境搭建教程图解

    5.将Hadoop的执行命令加入到我们的环境变量里

    在/etc/profile文件中加入:

    export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.3/bin:/usr/local/hadoop/hadoop-2.7.3/sbin

    执行/etc/profile文件:

    source /etc/profile

    6. 将npfdev1机器上的hadoop复制到npfdev2和npfdev3和npfdev4机器上。使用下面的命令:

    首先分别在npfdev2和npfdev3和npfdev4机器上,建立/usr/local/hadoop目录,然后在npfdev1上分别执行下面命令:

    scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev2:/usr/local/hadoop/

    scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev3:/usr/local/hadoop/

    scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev4:/usr/local/hadoop/

    记住:需要各自修改npfdev2和npfdev3和npfdev4的/etc/profile文件:

    在/etc/profile文件中加入:

    export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.3/bin:/usr/local/hadoop/hadoop-2.7.3/sbin

    执行/etc/profile文件:

    source /etc/profile

    然后分别在npfdev1和npfdev2和npfdev3和npfdev4机器上,执行hadoop命令,看是否安装成功。并且关闭防火墙。

    Hadoop的安装与环境搭建教程图解

    7. 确定所有机器之间可以相互ping通,使用下面的命令:

    (1). ping npfdev1

    Hadoop的安装与环境搭建教程图解

    (2). ping npfdev2

    Hadoop的安装与环境搭建教程图解

    (3). ping npfdev3

    Hadoop的安装与环境搭建教程图解

    (4). ping npfdev4

    Hadoop的安装与环境搭建教程图解

    8. 启动hadoop:

    我们这里将npfdev1作为master,npfdev2和npfdev3和npfdev4分别作为三台slave。

    (1).修改配置文件core-site.xml

    进入 cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop

    Hadoop的安装与环境搭建教程图解

    具体配置如下:

    Hadoop的安装与环境搭建教程图解

    (2).在master机器npfdev1上启动namenode

    首先需要格式化namenode,第一次使用需要格式化,后来就不需要了。

    hdfs namenode -format

    Hadoop的安装与环境搭建教程图解

    然后启动namenode:

    hadoop-daemon.sh start namenode

    Hadoop的安装与环境搭建教程图解

    通过jps命令查看,如果有namenode的java进程,就说明我们启动namenode成功。

    Hadoop的安装与环境搭建教程图解

    (3).在slave机器npfdev2,npfdev3,npfdev4上启动datanode

    Hadoop的安装与环境搭建教程图解

    总结

    以上所述是小编给大家介绍的Hadoop的安装与环境搭建教程图解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对码农之家网站的支持!
    如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

    上一篇:大数据架构详解:从数据获取到深度学习  下一篇:云计算中的大数据技术与应用

    展开 +

    收起 -

    码小辫二维码
     ←点击下载即可登录

    Hadoop相关电子书
    学习笔记
    网友NO.261581

    Eclipse+Maven构建Hadoop项目的方法步骤

    Maven 翻译为”专家”、”内行”,是 Apache 下的一个纯 Java 开发的开源项目。基于项目对象模型(Project Object Model 缩写:POM)概念,Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。Maven 是一个项目管理工具,可以对 Java 项目进行构建、依赖管理。 在开发一些大型项目的时候,需要用到各种各样的开源包jar,为了方便管理及加载jar,使用maven开发项目可以节省大量时间且方便项目移动至新的开发环境。 开发环境 系统:MacOS 10.14.1 Hadoop:2.7.0 Java:1.8.0 Eclipse:4.6.2 Maven: 3.3.9 Maven安装 我使用的这个版本的Eclipse已经自带了Maven插件,不需要在自行安装,因此我也没有实际操作,本文就不介绍如何配置。 至于怎么知道自己使用的Eclipse是否自带有Maven,可以在Eclipse-Preference-Maven-Installations查看是否有Maven及版本号。或者直接新建项目查看是否有Maven选项。 构建Hadoop环境 创建Maven项目 打开Eclipse,File-new-project,选择Maven,然后下一步next 选择Creat a simple project,然后下一步next 输入Group id和artifact id。然后finish。 groupid和artifactId被统称为“坐标”是为了保证项目唯一性而提出的,如果你要把你项目弄到maven本地仓库去,你想要找到你的项目就必须根据这两个id去查找。 groupId一般分为多个段,这里我只说两段,第一段为域……

    网友NO.259960

    在Hadoop集群环境中为MySQL安装配置Sqoop的教程

    Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。 一、安装sqoop 1、下载sqoop压缩包,并解压 压缩包分别是:sqoop-1.2.0-CDH3B4.tar.gz,hadoop-0.20.2-CDH3B4.tar.gz, Mysql JDBC驱动包mysql-connector-java-5.1.10-bin.jar [root@node1 ~]# ll drwxr-xr-x 15 root root 4096 Feb 22 2011 hadoop-0.20.2-CDH3B4-rw-r--r-- 1 root root 724225 Sep 15 06:46 mysql-connector-java-5.1.10-bin.jardrwxr-xr-x 11 root root 4096 Feb 22 2011 sqoop-1.2.0-CDH3B4 2、将sqoop-1.2.0-CDH3B4拷贝到/home/hadoop目录下,并将Mysql JDBC驱动包和hadoop-0.20.2-CDH3B4下的hadoop-core-0.20.2-CDH3B4.jar至sqoop-1.2.0-CDH3B4/lib下,最后修改一下属主。 [root@node1 ~]# cp mysql-connector-java-5.1.10-bin.jar sqoop-1.2.0-CDH3B4/lib[root@node1 ~]# cp hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2-CDH3B4.jar sqoop-1.2.0-CDH3B4/lib[root@node1 ~]# chown -R hadoop:hadoop sqoop-1.2.0-CDH3B4[root@node1 ~]# mv sqoop-1.2.0-CDH3B4 /home/hadoop[root@node1 ~]# ll /home/hadoop total 35748-rw-rw-r-- 1 hadoop hadoop 343 Sep 15 05:13 derby.logdrwxr-xr-x 13 hadoop hadoop 4096 Sep 14 16:16 hadoop-0.20.2drwxr-xr-x 9 hadoop hadoop 4096 Sep 14 20:21 hive-0.10.0-rw-r--r-- 1 hadoop hadoop 36524……

    网友NO.814358

    Hadoop2.8.1完全分布式环境搭建过程

    前言 本文搭建了一个由三节点(master、slave1、slave2)构成的Hadoop完全分布式集群(区别单节点伪分布式集群),并通过Hadoop分布式计算的一个示例测试集群的正确性。 本文集群三个节点基于三台虚拟机进行搭建,节点安装的操作系统为Centos7(yum源),Hadoop版本选取为2.8.0。作者也是初次搭建Hadoop集群,其间遇到了很多问题,故希望通过该博客让读者避免。 实验过程 1、基础集群的搭建 目的:获得一个可以互相通信的三节点集群 下载并安装VMware WorkStation Pro(支持快照,方便对集群进行保存)下载地址,产品激活序列号网上自行查找。 下载CentOS7镜像,下载地址。 使用VMware安装master节点(稍后其他两个节点可以通过复制master节点的虚拟机文件创建)。 三个节点存储均为30G默认安装,master节点内存大小为2GB,双核,slave节点内存大小1GB,单核 2、集群网络配置 目的:为了使得集群既能互相之间进行通信,又能够进行外网通信,需要为节点添加两张网卡(可以在虚拟机启动的时候另外添加一张网卡,即网络适配器,也可以在节点创建之后,在VMware设置中添加)。 两张网卡上网方式均采用桥接模式,外网IP设置为自动获取(通过此网卡进行外网访问,配置应该按照你当前主机的上网方式进行合理配置,如果不与主机通信的话可……

    Copyright 2018-2019 xz577.com 码农之家

    版权责任说明