Storm技术内幕与大数据实践

Storm技术内幕与大数据实践 PDF 高清版

  • 大小:38.6 MB
  • 类型:Storm
  • 格式:PDF
  • 热度:856
  • 作者:陈敏敏
  • 更新:2019-08-03 23:21:38
vip 立即下载( 38.6 MB )
关注公众号免费下载
版权投诉 / 资源反馈(本资源由用户 梁文姝 投稿)

给寻找技术文档的朋友们精选了Storm相关的资料,由人民邮电出版社出版,作者是陈敏敏,介绍了关于Storm、技术内幕、大数据实践方面,格式为PDF,资源大小38.6 MB,目前在Storm类资源综合评分为:8.4分。

Storm资源推荐

书籍介绍

Storm技术内幕与大数据实践 PDF

《Storm技术内幕与大数据实践》內容关键紧紧围绕即时大信息系统的各个领域进行,从即时服务平台整体详细介绍到集群服务器源代码、运维管理监控器、即时系统软件拓展、以客户画像主导的大数据平台,最终到强烈推荐、广告词、检索等实际的大数据的应用。书中提及的许多难题是具体环境中由于信息量提高而碰到的某些真實难题,对将要或已经应用即时系统软件解决互联网大数据难题的精英团队会进而协助。

目录

  • 第1章 绪论 1
  • 1.1 Storm的基本组件 2
  • 1.1.1 集群组成 2
  • 1.1.2 核心概念 3
  • 1.1.3 Storm的可靠性 5
  • 1.1.4 Storm的特性 6
  • 1.2 其他流式处理框架 6
  • 1.2.1 Apache S4 6
  • 1.2.2 Spark Streaming 6
  • 1.2.3 流计算和Storm的应用 7
  • 第2章 实时平台介绍 11
  • 2.1 实时平台架构介绍 11
  • 2.2 Kafka架构 13
  • 2.2.1 Kafka的基本术语和概念 13
  • 2.2.2 Kafka在实时平台中的应用 14
  • 2.2.3 消息的持久化和顺序读写 15
  • 2.2.4 sendfile系统调用和零复制 15
  • 2.2.5 Kafka的客户端 17
  • 2.2.6 Kafka的扩展 17
  • 2.3 大众点评实时平台 17
  • 2.3.1 相关数据 18
  • 2.3.2 实时平台简介 18
  • 2.3.3 Blackhole 19
  • 2.4 1号店实时平台 20
  • 第3章 Storm集群部署和配置 23
  • 3.1 Storm的依赖组件 23
  • 3.2 Storm的部署环境 24
  • 3.3 部署Storm服务 24
  • 3.3.1 部署ZooKeeper 24
  • 3.3.2 部署Storm 25
  • 3.3.3 配置Storm 25
  • 3.4 启动Storm 28
  • 3.5 Storm的守护进程 28
  • 3.6 部署Storm的其他节点 30
  • 3.7 提交Topology 30
  • 第4章 Storm内部剖析 33
  • 4.1 Storm客户端 33
  • 4.2 Nimbus 36
  • 4.2.1 启动Nimbus服务 36
  • 4.2.2 Nimbus服务的执行过程 38
  • 4.2.3 分配Executor 44
  • 4.2.4 调度器 46
  • 4.2.5 默认调度器DefaultScheduler 47
  • 4.2.6 均衡调度器EvenScheduler 50
  • 4.3 Supervisor 53
  • 4.3.1 ISupervisor接口 54
  • 4.3.2 Supervisor的共享数据 54
  • 4.3.3 Supervisor的执行过程 56
  • 4.4 Worker 61
  • 4.4.1 Worker中的数据流 61
  • 4.4.2 创建Worker的过程 62
  • 4.5 Executor 65
  • 4.5.1 Executor的创建 66
  • 4.5.2 创建Spout的Executor 69
  • 4.5.3 创建Bolt的Executor 74
  • 4.6 Task 76
  • 4.6.1 Task的上下文对象 77
  • 4.6.2 Task的创建 82
  • 4.7 Storm中的统计 84
  • 4.7.1 stats框架 85
  • 4.7.2 metric框架 90
  • 4.8 Ack框架 91
  • 4.8.1 Ack的原理 92
  • 4.8.2 Acker Bolt 94
  • 4.9 Storm总体架构 95
  • 第5章 Storm运维和监控 97
  • 5.1 主机信息监控 97
  • 5.1 日志和监控 98
  • 5.2 Storm UI和NimbusClient 99
  • 5.3 Storm Metric的使用 100
  • 5.4 Storm ZooKeeper的目录 102
  • 5.5 Storm Hook的使用 104
  • 第6章 Storm的扩展 107
  • 6.1 Storm UI的扩展 107
  • 6.1.1 Storm UI原生功能 108
  • 6.1.2 Storm UI新功能需求 108
  • 6.1.3 Storm的Thrift接口 109
  • 6.2 资源隔离 110
  • 6.2.1 CGroup测试 111
  • 6.2.2 基于CGroup的资源隔离的实现 119
  • 第7章 Storm开发 121
  • 7.1 简单示例 121
  • 7.2 调试和日志 122
  • 7.3 Storm Trident 124
  • 7.4 Strom DRPC 128
  • 第8章 基于Storm的实时数据平台 129
  • 8.1 Hadoop到Storm的代码迁移经验 129
  • 8.2 实时用户画像 130
  • 8.2.1 简单实时画像 130
  • 8.2.2 实时画像优化 131
  • 8.2.3 实时画像的毫秒级更新 133
  • 8.3 其他场景画像 135
  • 8.4 画像的兴趣度模型构建 136
  • 8.5 外部画像融合经验分享 138
  • 8.6 交互式查询和分析用户画像 142
  • 8.7 实时产品和店铺信息更新 143
  • 第9章 大数据应用案例 145
  • 9.1 实时DAU计算 145
  • 9.2 实时个性化推荐 150
  • 9.2.1 推荐系统介绍 150
  • 9.2.2 实时推荐系统的方法 153
  • 9.2.3 基于Storm的实时推荐系统 156
  • 9.3 广告投放的精准化 158
  • 9.3.1 点击率预测 158
  • 9.3.2 搜索引擎营销 161
  • 9.3.3 精准化营销与千人千面 161
  • 9.4 实时意图和搜索 164
  • 9.4.1 用户意图预测 165
  • 9.4.2 搜索比价 167
  • 9.4.3 搜索排序 168
  • 第10章 Storm使用经验和性能优化 171
  • 10.1 使用经验 171
  • 10.1.1 使用rebalance命令动态调整并发度 171
  • 10.1.2 使用tick消息做定时器 172
  • 10.1.3 使用组件的并行度代替线程池 174
  • 10.1.4 不要用DRPC批量处理大数据 174
  • 10.1.5 不要在Spout中处理耗时的操作 174
  • 10.1.6 log4j的使用技巧 175
  • 10.1.7 注意fieldsGrouping的数据均衡性 176
  • 10.1.8 优先使用localOrShuffleGrouping 176
  • 10.1.9 设置合理的MaxSpoutPending值 177
  • 10.1.10 设置合理的Worker数 177
  • 10.1.11 平衡吞吐量和时效性 178
  • 10.2 性能优化 179
  • 10.2.1 找到Topology的性能瓶颈 179
  • 10.2.2 GC参数优化 181
  • 10.3 性能优化原则 181
  • 附录A Kafka原理 183
  • 附录B 将Storm源码导入Eclipse 191

以上就是本次关于书籍资源的介绍和部分内容,我们还整理了以往更新的其它相关电子书资源内容,可以在下方直接下载,关于相关的资源我们在下方做了关联展示,需要的朋友们也可以参考下。

相关资源

  • 《OpenCL异构并行编程实战》源码

    《OpenCL异构并行编程实战》源码

    封面图 目录 作者简介 审校者简介 前言 第1章使用OpenCL1 1.1引言1 1.2查询OpenCL平台7 1.3查询平台上的OpenCL设备10 1.4查询OpenCL设备扩展14 1.5查询OpenCL上下文16 1.6查询OpenCL程序20 1.7创建OpenCL内核25 1.8创建命令队列以及对OpenCL内核排队28 第2章理解OpenCL数据传送与划分32 2.1引言32 2.2创建OpenCL缓冲对象33 2.3检索关于OpenCL缓冲对象的信息39 2.4创建OpenCL子缓冲对象4

    大小:2.7 MBOpenCL配套资源

  • 《GWT揭秘》源码文件

    《GWT揭秘》源码文件

    封面图 内容 本书主要分为5个部分:准备篇介绍了开发环境的搭建以及能让读者迅速上手的HelloWorld应用;基础篇介绍了应用GWT时必须掌握的各种必备知识,如GWT的主要模块和控件、GWT与JavaScript对象的交互、在XML中操作GWT、GWT-RPC和GWT-EXT等;实战篇以一个完整的报销审批系统的全程开发为主线,将前面的理论知识贯穿于其中,同时也能让读者自己动手开发一个完整的GWT应用;高级篇是全书内容的升华,包含与热门技术Flex的整合、图片缓存、本地化、动画

    大小:43 MBGWT配套资源

  • 计算机组成原理与汇编语言程序设计(第3版)

    计算机组成原理与汇编语言程序设计(第3版) 课后答案

    《zhuo越工程师培养计划十二五规划教材:微计算机原理及应用(第3版)》共8章,以得到*广泛应用的IA-32位结构微处理器家族产品80x86/Pentiun和PC系列微计算机为背景,系统阐述了微处理器的基本工作原理、体系结构、指令系统、汇编语言程序设计以及主存储器、输入/输出接口芯片围绕CPU构建微计算机/微处理器系统的基本组成原理、应用技术和方法。 《zhuo越工程师培养计划十二五规划教材:微计算机原理及应用(第3版)》系统性强,既有基本原理的

    大小:1.01 MB汇编课后答案

  • 数值计算方法(第2版)

    数值计算方法(第2版) 课后答案

    《数值计算方法第二版》是2005年高等教育出版社出版的图书,作者是李有法。 本书按照工科数学《数值计算方法课程教学基本要求》编写,介绍了计算机上常用的数值计算方法以及有关的基本概念与理论。内容取材适当,主要方法给出程序框图(或算法)与数值例子,每章有小结与适量习题,书末还有上机习题。习题均给出答案。 本书经工科数学课程教学指导委员会评选通过,可作为工科本科各专业的数值计算方法课程的教材,也可供工程技术人员参考。 目录

    大小:4.75 MB数值计算课后答案

  • 《青少年3D打印课程:轻松玩转123D Design》配套资源

    《青少年3D打印课程:轻松玩转123D Design》配套资源

    ★书名:青少年3D打印课程轻松玩转123D Design ★书号:978-7-115-56625-6 ★简介:123D Design是Autodesk(欧特克)公司研发的适用于青少年的三维设计软件,界面简洁、易于上手且。123D Design作为一款免费提供给用户使用的三维创意软件,近年来逐渐成为各中小学校三维创意设计教学的必备软件,深受广大青少年学习群体的喜爱。体育课上的哨子、书桌上的蜂窝笔筒、动漫中的小黄人等都是孩子们生活和学习中喜闻乐见的。本书收录的教学案例均源自于孩子们的

    大小:522.4 MB3D打印配套资源

  • Visual Basic程序设计教程

    Visual Basic程序设计教程 课后答案

    《VisualBasic程序设计教程》是2009年3月人民邮电出版社出版的图书,作者是邱李华、郭全。 本书根据教育部高等学校计算机科学与技术教学指导委员会关于计算机程序设计基础课程教学基本要求编写而成,系统地介绍了Visual Basic程序设计语言与界面设计的相关知识。 本书可作为高等学校非计算机专业计算机程序设计基础课程的教材,也可供其他初学Visual Basic程序设计语言的读者使用。 VisualBasic程序设计教程全书共分为12章,主要包括Visual Basic程序设计基

    大小:302 KBVB教程课后答案

  • 《HTML 5与CSS 3权威指南(第3版·上册)》源代码

    《HTML 5与CSS 3权威指南(第3版·上册)》源代码

    本书不仅是HTML 5与CSS 3图书领域当之无愧的领头羊,而且在整个原创计算机图书领域也是佼佼者。本书已经成为HTML 5与CSS 3图书领域的一个标杆,被读者誉为系统学习HTML 5与CSS 3技术的最佳指导参考书之一和Web前端工程师案头必备图书之一。第2版首先从技术的角度结合最新的HTML 5和CSS 3标准对内容进行了更新和补充,其次从结构组织和写作方式的角度对原有的内容进行了进一步优化,使之更具价值和更便于读者阅读。 全书共29章,本书分为上下两册:上册

    大小:4.8 MBweb前端配套资源

  • 32位微型计算机接口技术及应用

    32位微型计算机接口技术及应用 课后答案

    《32位微型计算机接口技术及应用》是2006年华中科技大学出版社出版的图书,作者是刘乐善。 本书以32位微机接口为主要对象,从微机系统的角度深入地阐述了现代微机接口技术的原理及应用。其内容包括32位微处理器、PCI总线、存储器管理、设备驱动程序和Windows内核等深层次的技术问题。既有常用外设接口,也有新型接口;既考虑了接口技术的共性,也考虑了各类接口的特点;既有上层应用程序,又有底层设备驱动程序。全书共18章,前12章集中分析了

    大小:10.9 MB接口技术课后答案

下载地址

相关声明:

学习笔记