当前位置:主页 > 计算机电子书 > 计算机理论 > 分布式下载
分布式实时计算框架原理及实践案例

分布式实时计算框架原理及实践案例 PDF 原版影印版

  • 更新:2019-09-17
  • 大小:83.9 MB
  • 类别:分布式
  • 作者:王成光
  • 出版:电子工业出版社
  • 格式:PDF

  • 资源介绍
  • 相关推荐

分布式实时计算框架原理及实践案例 PDF

读群体 :这书合适用户包含:高等院校老师学生及公司中从业分布式计算的工程师职称、系统架构师及技术性管理人员等。

“授人以鱼比不上授之以渔”,这书是创作者以这般初衷写出的,关键参照当今流行分布式系统即时测算架构Storm的每日任务派发和Spark Streaming的Mini-Batch布置观念,及其最底层保持技术性,开源系统了创作者研发的轻巧分布式系统即时测算架构——Light_drtc,而且重中之重详细介绍布置观念和有关保持技术性(Kafka/RabbitMQ、Redis/SSDB 、GuavaCache、MongoDB、HBase、ES/SolrCloud、Thrift、Avro、Jetty),最终从工程项目视角向大伙儿详细介绍详细的智能推荐系统软件,并案例详细介绍Light_drtc在客户画像自动更新的运用。这书叙述通俗易懂,期待用户了解分布式系统即时测算的保持基本原理,并迅速入门处理具体难题。

目录

  • 专家力荐
  • 前言
  • 第1章 分布式实时计算框架介绍
  • 1.1 分布式计算Hadoop
  • 1.2 分布式实时计算
  • 1.2.1 Spark Streaming
  • 1.2.2 Storm
  • 1.2.3 其他框架
  • 1.3 为什么自研
  • 1.4 总结
  • 第2章 light_drtc简介及使用说明
  • 2.1 light_drtc框架简介
  • 2.2 light_drtc代码结构
  • 2.3 light_drtc重要配置项
  • 2.4 light_drtc和Storm比较
  • 2.5 light_drtc使用说明
  • 2.5.1 ACN(AN和CN整合)作为独立服务
  • 2.5.2 CN、AN作为独立服务
  • 2.5.3 任务计算JN
  • 2.6 总结
  • 第3章 light_drtc核心技术实现
  • 3.1 light_drtc技术架构
  • 3.2 light_drtc计算框架设计思想
  • 3.2.1 CN设计思想
  • 3.2.2 AN多主模式设计思想
  • 3.2.3 JN设计思想
  • 3.3 light_drtc核心技术的实现
  • 3.3.1 实时收集数据CN
  • 3.3.2 任务协调管理AN
  • 3.3.3 任务计算JN
  • 3.4 总结
  • 第4章 消息队列MQ
  • 4.1 消息队列使用场景
  • 4.2 消息队列原理
  • 4.2.1 MQ使用流程
  • 4.2.2 MQ基本概念
  • 4.2.3 MQ通信模式
  • 4.2.4 目前知名MQ比较
  • 4.3 MQ消费状态监控
  • 4.3.1 KafkaOffsetMonitor介绍
  • 4.3.2 KafkaOffsetMonitor部署
  • 4.4 RabbitMQ和Kafka的基本使用
  • 4.4.1 RabbitMQ读写实例
  • 4.4.2 Kafka读写实例
  • 4.5 总结
  • 第5章 内存数据库Redis3.0及SSDB
  • 5.1 Redis相关介绍
  • 5.1.1 Redis3.0集群架构
  • 5.1.2 Redis3.0集群选举与容错
  • 5.1.3 SSDB简介
  • 5.2 Redis3.0集群搭建
  • 5.2.1 集群所依赖的Ruby环境
  • 5.2.2 Redis集群创建
  • 5.2.3 Redis集群验证
  • 5.2.4 SSDB简单部署
  • 5.3 Redis管理及使用
  • 5.3.1 Redis基本使用
  • 5.3.2 Redis管理
  • 5.4 Redis客户端应用
  • 5.4.1 Redis3.0客户端
  • 5.4.2 SSDB客户端
  • 5.5 本地缓存Guava Cache
  • 5.5.1 认识Guava Cache
  • 5.5.2 Guava Cache使用
  • 5.5.3 Java客户端使用
  • 5.6 总结
  • 第6章 NoSQL:MongoDB3.0和HBase1.0
  • 6.1 MongoDB3.0和HBase1.0新特性
  • 6.1.1 MongoDB3.0新特性
  • 6.1.2 HBase1.0新特性
  • 6.1.3 MongoDB和HBase比较
  • 6.2 MongoDB3.0集群和索引
  • 6.2.1 MongoDB3.0集群
  • 6.2.2 Mongo索引介绍
  • 6.3 HBase底层实现介绍
  • 6.3.1 HBase相关Hadoop体系
  • 6.3.2 HBase系统架构
  • 6.4 Mongo和HBase客户端使用
  • 6.4.1 Mongo客户端
  • 6.4.2 HBase客户端
  • 6.5 总结
  • 第7章 全文检索:ElasticSearch2.x
  • 7.1 认识ElasticSearch和Solr
  • 7.1.1 ElasticSearch和Solr基本介绍
  • 7.1.2 ES基本概念
  • 7.1.3 ES和SolrCloud集群结构
  • 7.1.4 ES使用案例
  • 7.2 ES和Solr比较分析
  • 7.2.1 ES和Solr发展比较
  • 7.2.2 ES和Solr综合比较
  • 7.3 ES集群介绍
  • 7.3.1 插件安装
  • 7.3.2 中文分词安装
  • 7.3.3 ES2.X集群节点类型
  • 7.3.4 ES配置事项
  • 7.4 ES客户端使用
  • 7.4.1 ES客户端连接
  • 7.4.2 ES基本操作
  • 7.4.3 ES高级使用
  • 7.5 ES在自研框架中的作用
  • 7.6 总结
  • 第8章 微服务架构通信——RPC和Web Service
  • 8.1 微服务架构由来
  • 8.1.1 微服务与SOA比较
  • 8.1.2 微服务架构的优缺点
  • 8.1.3 微服务雪崩效应的防范
  • 8.2 RPC介绍及实践
  • 8.2.1 Thrift/Nifty介绍
  • 8.2.2 Avro介绍
  • 8.2.3 Dubbo/Dubbox介绍
  • 8.2.4 GRPC/ProtoBuf介绍
  • 8.2.5 ZeroC ICE
  • 8.3 Web Service介绍及实践
  • 8.3.1 SOAP和Rest
  • 8.3.2 JWS(JDK自身实现Web Service)
  • 8.3.3 Jetty:嵌入式Servlet容器
  • 8.3.4 基于Spring MVC
  • 8.3.5 其他Web Service框架
  • 8.4 总结
  • 第9章 综合实例:新闻推荐中的用户画像近实时更新
  • 9.1 个性化推荐系统组成
  • 9.1.1 用户行为收集
  • 9.1.2 行为日志解析
  • 9.1.3 常用推荐算法
  • 9.1.4 用户画像数据仓库
  • 9.1.5 元数据索引库
  • 9.1.6 用户推荐服务
  • 9.2 新闻推荐中用户画像近实时更新设计
  • 9.2.1 新闻推荐中用户画像构成
  • 9.2.2 新闻推荐中用户画像标签数据字典
  • 9.2.3 新闻推荐用户画像实时更新流程
  • 9.3 新闻推荐用户画像近实时更新技术实现
  • 9.3.1 Storm接入Kafka实时计算实例
  • 9.3.2 Spark Streaming 接入Kafka实时计算实例
  • 9.3.3 Light_drtc接入Kafka
  • 9.3.4 用户画像实时更新核心实现
  • 9.4 总结

资源下载

资源下载地址1:https://pan.baidu.com/s/1-gz1rw8XGPGW9RtjQxrfzA

相关资源

网友留言