标签分类 热门分类
当前位置:首页 > 行业软件及应用电子书 > Storm电子书网盘下载
Storm技术内幕与大数据实践 Storm技术内幕与大数据实践
我自横刀向天笑

我自横刀向天笑 提供上传

资源
36
粉丝
8
喜欢
156
评论
7

    Storm技术内幕与大数据实践 PDF 高清版

    Storm电子书
    • 发布时间:

    给大家带来的一篇关于Storm相关的电子书资源,介绍了关于Storm、技术内幕、大数据实践方面的内容,本书是由人民邮电出版社出版,格式为PDF,资源大小38.6 MB,陈敏敏编写,目前豆瓣、亚马逊、当当、京东等电子书综合评分为:9.9,更多相关的学习资源可以参阅 行业软件及应用电子书、等栏目。

  • Storm技术内幕与大数据实践 PDF 下载
  • 下载地址:https://pan.baidu.com/s/1QUuuhup_XQNdn_cySbq77
  • 分享码:nq87
  • Storm技术内幕与大数据实践 PDF

    《Storm技术内幕与大数据实践》內容关键紧紧围绕即时大信息系统的各个领域进行,从即时服务平台整体详细介绍到集群服务器源代码、运维管理监控器、即时系统软件拓展、以客户画像主导的大数据平台,最终到强烈推荐、广告词、检索等实际的大数据的应用。书中提及的许多难题是具体环境中由于信息量提高而碰到的某些真實难题,对将要或已经应用即时系统软件解决互联网大数据难题的精英团队会进而协助。

    目录

    • 第1章 绪论 1
    • 1.1 Storm的基本组件 2
    • 1.1.1 集群组成 2
    • 1.1.2 核心概念 3
    • 1.1.3 Storm的可靠性 5
    • 1.1.4 Storm的特性 6
    • 1.2 其他流式处理框架 6
    • 1.2.1 Apache S4 6
    • 1.2.2 Spark Streaming 6
    • 1.2.3 流计算和Storm的应用 7
    • 第2章 实时平台介绍 11
    • 2.1 实时平台架构介绍 11
    • 2.2 Kafka架构 13
    • 2.2.1 Kafka的基本术语和概念 13
    • 2.2.2 Kafka在实时平台中的应用 14
    • 2.2.3 消息的持久化和顺序读写 15
    • 2.2.4 sendfile系统调用和零复制 15
    • 2.2.5 Kafka的客户端 17
    • 2.2.6 Kafka的扩展 17
    • 2.3 大众点评实时平台 17
    • 2.3.1 相关数据 18
    • 2.3.2 实时平台简介 18
    • 2.3.3 Blackhole 19
    • 2.4 1号店实时平台 20
    • 第3章 Storm集群部署和配置 23
    • 3.1 Storm的依赖组件 23
    • 3.2 Storm的部署环境 24
    • 3.3 部署Storm服务 24
    • 3.3.1 部署ZooKeeper 24
    • 3.3.2 部署Storm 25
    • 3.3.3 配置Storm 25
    • 3.4 启动Storm 28
    • 3.5 Storm的守护进程 28
    • 3.6 部署Storm的其他节点 30
    • 3.7 提交Topology 30
    • 第4章 Storm内部剖析 33
    • 4.1 Storm客户端 33
    • 4.2 Nimbus 36
    • 4.2.1 启动Nimbus服务 36
    • 4.2.2 Nimbus服务的执行过程 38
    • 4.2.3 分配Executor 44
    • 4.2.4 调度器 46
    • 4.2.5 默认调度器DefaultScheduler 47
    • 4.2.6 均衡调度器EvenScheduler 50
    • 4.3 Supervisor 53
    • 4.3.1 ISupervisor接口 54
    • 4.3.2 Supervisor的共享数据 54
    • 4.3.3 Supervisor的执行过程 56
    • 4.4 Worker 61
    • 4.4.1 Worker中的数据流 61
    • 4.4.2 创建Worker的过程 62
    • 4.5 Executor 65
    • 4.5.1 Executor的创建 66
    • 4.5.2 创建Spout的Executor 69
    • 4.5.3 创建Bolt的Executor 74
    • 4.6 Task 76
    • 4.6.1 Task的上下文对象 77
    • 4.6.2 Task的创建 82
    • 4.7 Storm中的统计 84
    • 4.7.1 stats框架 85
    • 4.7.2 metric框架 90
    • 4.8 Ack框架 91
    • 4.8.1 Ack的原理 92
    • 4.8.2 Acker Bolt 94
    • 4.9 Storm总体架构 95
    • 第5章 Storm运维和监控 97
    • 5.1 主机信息监控 97
    • 5.1 日志和监控 98
    • 5.2 Storm UI和NimbusClient 99
    • 5.3 Storm Metric的使用 100
    • 5.4 Storm ZooKeeper的目录 102
    • 5.5 Storm Hook的使用 104
    • 第6章 Storm的扩展 107
    • 6.1 Storm UI的扩展 107
    • 6.1.1 Storm UI原生功能 108
    • 6.1.2 Storm UI新功能需求 108
    • 6.1.3 Storm的Thrift接口 109
    • 6.2 资源隔离 110
    • 6.2.1 CGroup测试 111
    • 6.2.2 基于CGroup的资源隔离的实现 119
    • 第7章 Storm开发 121
    • 7.1 简单示例 121
    • 7.2 调试和日志 122
    • 7.3 Storm Trident 124
    • 7.4 Strom DRPC 128
    • 第8章 基于Storm的实时数据平台 129
    • 8.1 Hadoop到Storm的代码迁移经验 129
    • 8.2 实时用户画像 130
    • 8.2.1 简单实时画像 130
    • 8.2.2 实时画像优化 131
    • 8.2.3 实时画像的毫秒级更新 133
    • 8.3 其他场景画像 135
    • 8.4 画像的兴趣度模型构建 136
    • 8.5 外部画像融合经验分享 138
    • 8.6 交互式查询和分析用户画像 142
    • 8.7 实时产品和店铺信息更新 143
    • 第9章 大数据应用案例 145
    • 9.1 实时DAU计算 145
    • 9.2 实时个性化推荐 150
    • 9.2.1 推荐系统介绍 150
    • 9.2.2 实时推荐系统的方法 153
    • 9.2.3 基于Storm的实时推荐系统 156
    • 9.3 广告投放的精准化 158
    • 9.3.1 点击率预测 158
    • 9.3.2 搜索引擎营销 161
    • 9.3.3 精准化营销与千人千面 161
    • 9.4 实时意图和搜索 164
    • 9.4.1 用户意图预测 165
    • 9.4.2 搜索比价 167
    • 9.4.3 搜索排序 168
    • 第10章 Storm使用经验和性能优化 171
    • 10.1 使用经验 171
    • 10.1.1 使用rebalance命令动态调整并发度 171
    • 10.1.2 使用tick消息做定时器 172
    • 10.1.3 使用组件的并行度代替线程池 174
    • 10.1.4 不要用DRPC批量处理大数据 174
    • 10.1.5 不要在Spout中处理耗时的操作 174
    • 10.1.6 log4j的使用技巧 175
    • 10.1.7 注意fieldsGrouping的数据均衡性 176
    • 10.1.8 优先使用localOrShuffleGrouping 176
    • 10.1.9 设置合理的MaxSpoutPending值 177
    • 10.1.10 设置合理的Worker数 177
    • 10.1.11 平衡吞吐量和时效性 178
    • 10.2 性能优化 179
    • 10.2.1 找到Topology的性能瓶颈 179
    • 10.2.2 GC参数优化 181
    • 10.3 性能优化原则 181
    • 附录A Kafka原理 183
    • 附录B 将Storm源码导入Eclipse 191

    上一篇:代码的未来  下一篇:DRBD权威指南

    展开 +

    收起 -

     
    Storm 相关电子书
    关于Storm的学习笔记
    网友NO.931004

    mysql大数据查询优化经验分享(推荐)

    正儿八经mysql优化! mysql数据量少,优化没必要,数据量大,优化少不了,不优化一个查询10秒,优化得当,同样查询10毫秒。 这是多么痛的领悟! mysql优化,说程序员的话就是:索引优化和where条件优化。 实验环境:MacBook Pro MJLQ2CH/A,mysql5.7,数据量:212万+ ONE: select * from article INNER JOIN ( SELECT id FROM article WHERE length(content_url) 0 and (select status from source where id = article.source_id)=1 and (select status from category where id = article.category_id)=1 and status = 1 and id 2164931 order by stick desc,pub_time desc limit 240,15 ) AS tUSING(id); 咋一看,大佬肯定会想杀了我,没事做啥自关联,还是inner join。XX楼的,把我的杀猪刀拿来,我要宰了博主!!! 说实话,早上出门我的脑袋没被门挤,我也不想这样的。 1.数据量大了,你要做offset很大的分页查询,还真的这样提速,原因 --- 用join子表中的id覆盖到全表,避免全表扫描。 看我的order by(细语:不就是个order by,TM谁不会写),你把这个order by换成你自己的表中的字段desc or explain看看。Extra --- filesort ! shit ! 2.针对这种多个条件的order by,通常我们会直接给两个字段分别加index,然而还是会Extra --- filesort。另辟蹊径,给order by后面的所有条件加一个联合索引,注意顺序一定要和你的order by顺序一致。这样Extra就只剩下where了。……

    网友NO.173758

    vue大数据表格卡顿问题的完美解决方案

    前言 vue渲染小数据挺快,大数据vue开始出现卡顿现象,本文讲给大家详细介绍关于vue大数据表格卡顿问题的解决方法 点我在线体验Demo(请用电脑查看) 亲测苹果电脑,chrome浏览器无卡顿现象,其它浏览器并未测试,如遇到卡顿请备注系统和浏览器,方便我后续优化,谢谢 先看一下效果,一共1000 X 100 = 10W个单元格基本感受不到卡顿,而且每个单元格点击可以编辑,支持固定头和固定列 项目源代码地址 Github(本地下载) 解决问题核心点:横向滚动加载,竖向滚动加载 项目背景 笔者最近在做广告排期功能,需要进行点位预占,大的合同可能需要对多个资源排期,周期可能到几年这样,然后我们的页面交互是这样 横向每个月30个单元格,最多的3年,36个月,每行36*30=1080个单元格 竖向100个资源,总共约️10W个单元格,然后每个单元格里面会有一个输入框,一个库存总数,所以总数是20W个,内网使用,接口请求根本不是问题,可以浏览器渲染就扛不住了接口回来之后会出现几十秒的白屏,整个页面处于卡死状态 这还不算,加载出之后页面操作也是非常卡,滑动延迟严重,页面基本处于瘫痪状态 之前的功能是基于jquery开发的,项目重构用的vue,UI采用了ElementUI,ElmentUI中的表格在数据量较大是有严重的性能问题,最直接的表现就是白屏……

    网友NO.343685

    Navicat中导入mysql大数据时出错解决方法

    Navicat 自己到处的数据,导入时出现无法导入的情况。 最后选择利用MySQL命令导入方式完成数据导入 用到命令 use 快捷方式 \u source 快捷方式 \. 快捷方式可以通过help查询 mysql\u dataname mysql\. d:\mysql\dataname.sql 导入时碰到问题及解决方法 导入时中文乱码 解决方法: 在用Navicat导出时用的是UTF8编码,导入时MySQL用自己默认的编码方式导入,中文产生了乱码 用命令查询 mysqlshow variables like '%char%'; 查询看到编码是gbk 然后查到的全部用 mysqlset character_set_results=utf8; mysqlset .....(类同都修改成utf8) 再次执行导入,OK!编码正常,成功导入。 ……

    网友NO.143797

    jQuery插件select2利用ajax高效查询大数据列表(可搜索、可分页)

    select2是一款jQuery插件,是普通form表单select组件的升级版。 可以定制搜索、远程数据集(Remote data,本篇主要介绍点)、无限滚动(数据分页功能,这一点很妙)、还有很多高端的参数设置(有需要的下次介绍)。 内置了40种国际化语言,不过这里我们只需要用到中文。 同时支持现代和传统浏览器内置,甚至包括惹人不高兴的IE8。 那么,现在让我们开始一段select2的奇幻之旅吧! 一、惊艳的效果,来一睹为快吧 本地实战结果 二、导入css和js到网站上 1.使用CDN,节省自己网站的流量 link href="https://cdnjs.cloudflare.com/ajax/libs/select2/4.0.3/css/select2.min.css" rel="external nofollow" rel="stylesheet" /script src="https://cdnjs.cloudflare.com/ajax/libs/select2/4.0.3/js/select2.min.js"/script 2.下载文件到本地,可以做一些个性的定制(比如说修改提示语) git下载地址 !-- select2 --link rel="stylesheet" type="text/css" href="${ctx}/common/select2/css/select2.css" rel="external nofollow" /script type="text/javascript" src="${ctx}/common/select2/js/select2.full.js"/script!-- 中文国际化还需要进行参数设置 --script type="text/javascript" src="${ctx}/common/select2/js/i18n/zh-CN.js"/script 三、真刀真枪的干起来 第一步、定制页面个性化元素 select name="parentid" class="js-data-example-ajax" href="${ctx}/member/loadMembersInfo.do?uid=${mem.uid}" rel="external nofollow" ……

    Copyright 2018-2020 xz577.com 码农之家

    电子书资源由网友、会员提供上传,本站记录提供者的基本信息及资源来路

    鸣谢: “ 码小辫 ” 公众号提供回调API服务、“ 脚本CDN ”提供网站加速(本站寻求更多赞助支持)

    版权投诉 / 书籍推广 / 赞助:520161757@qq.com

    上传资源(网友、会员均可提供)

    查看最新会员资料及资源信息