标签分类
当前位置:首页 > 计算机理论电子书 > 分布式电子书网盘下载
分布式实时计算框架原理及实践案例 分布式实时计算框架原理及实践案例
萧曵 丶

萧曵 丶 提供上传

资源
21
粉丝
50
喜欢
10
评论
5

    分布式实时计算框架原理及实践案例 PDF 原版影印版

    分布式电子书
    • 发布时间:

    给大家带来的一篇关于分布式相关的电子书资源,介绍了关于分布式、实时、计算、框架、原理、及、实践、案例、分布式、实时、计算、框架、原理、及、实践、案例、方面的内容,本书是由电子工业出版社出版,格式为PDF,资源大小83.9 MB,王成光编写,目前豆瓣、亚马逊、当当、京东等电子书综合评分为:7.4,更多相关的学习资源可以参阅 计算机理论电子书、等栏目。

  • 分布式实时计算框架原理及实践案例 PDF 下载
  • 下载地址:https://pan.baidu.com/s/1-gz1rw8XGPGW9RtjQxrfzA
  • 分享码:j7r3
  • 分布式实时计算框架原理及实践案例 PDF

    读群体 :这书合适用户包含:高等院校老师学生及公司中从业分布式计算的工程师职称、系统架构师及技术性管理人员等。

    “授人以鱼比不上授之以渔”,这书是创作者以这般初衷写出的,关键参照当今流行分布式系统即时测算架构Storm的每日任务派发和Spark Streaming的Mini-Batch布置观念,及其最底层保持技术性,开源系统了创作者研发的轻巧分布式系统即时测算架构——Light_drtc,而且重中之重详细介绍布置观念和有关保持技术性(Kafka/RabbitMQ、Redis/SSDB 、GuavaCache、MongoDB、HBase、ES/SolrCloud、Thrift、Avro、Jetty),最终从工程项目视角向大伙儿详细介绍详细的智能推荐系统软件,并案例详细介绍Light_drtc在客户画像自动更新的运用。这书叙述通俗易懂,期待用户了解分布式系统即时测算的保持基本原理,并迅速入门处理具体难题。

    目录

    • 专家力荐
    • 前言
    • 第1章 分布式实时计算框架介绍
    • 1.1 分布式计算Hadoop
    • 1.2 分布式实时计算
    • 1.2.1 Spark Streaming
    • 1.2.2 Storm
    • 1.2.3 其他框架
    • 1.3 为什么自研
    • 1.4 总结
    • 第2章 light_drtc简介及使用说明
    • 2.1 light_drtc框架简介
    • 2.2 light_drtc代码结构
    • 2.3 light_drtc重要配置项
    • 2.4 light_drtc和Storm比较
    • 2.5 light_drtc使用说明
    • 2.5.1 ACN(AN和CN整合)作为独立服务
    • 2.5.2 CN、AN作为独立服务
    • 2.5.3 任务计算JN
    • 2.6 总结
    • 第3章 light_drtc核心技术实现
    • 3.1 light_drtc技术架构
    • 3.2 light_drtc计算框架设计思想
    • 3.2.1 CN设计思想
    • 3.2.2 AN多主模式设计思想
    • 3.2.3 JN设计思想
    • 3.3 light_drtc核心技术的实现
    • 3.3.1 实时收集数据CN
    • 3.3.2 任务协调管理AN
    • 3.3.3 任务计算JN
    • 3.4 总结
    • 第4章 消息队列MQ
    • 4.1 消息队列使用场景
    • 4.2 消息队列原理
    • 4.2.1 MQ使用流程
    • 4.2.2 MQ基本概念
    • 4.2.3 MQ通信模式
    • 4.2.4 目前知名MQ比较
    • 4.3 MQ消费状态监控
    • 4.3.1 KafkaOffsetMonitor介绍
    • 4.3.2 KafkaOffsetMonitor部署
    • 4.4 RabbitMQ和Kafka的基本使用
    • 4.4.1 RabbitMQ读写实例
    • 4.4.2 Kafka读写实例
    • 4.5 总结
    • 第5章 内存数据库Redis3.0及SSDB
    • 5.1 Redis相关介绍
    • 5.1.1 Redis3.0集群架构
    • 5.1.2 Redis3.0集群选举与容错
    • 5.1.3 SSDB简介
    • 5.2 Redis3.0集群搭建
    • 5.2.1 集群所依赖的Ruby环境
    • 5.2.2 Redis集群创建
    • 5.2.3 Redis集群验证
    • 5.2.4 SSDB简单部署
    • 5.3 Redis管理及使用
    • 5.3.1 Redis基本使用
    • 5.3.2 Redis管理
    • 5.4 Redis客户端应用
    • 5.4.1 Redis3.0客户端
    • 5.4.2 SSDB客户端
    • 5.5 本地缓存Guava Cache
    • 5.5.1 认识Guava Cache
    • 5.5.2 Guava Cache使用
    • 5.5.3 Java客户端使用
    • 5.6 总结
    • 第6章 NoSQL:MongoDB3.0和HBase1.0
    • 6.1 MongoDB3.0和HBase1.0新特性
    • 6.1.1 MongoDB3.0新特性
    • 6.1.2 HBase1.0新特性
    • 6.1.3 MongoDB和HBase比较
    • 6.2 MongoDB3.0集群和索引
    • 6.2.1 MongoDB3.0集群
    • 6.2.2 Mongo索引介绍
    • 6.3 HBase底层实现介绍
    • 6.3.1 HBase相关Hadoop体系
    • 6.3.2 HBase系统架构
    • 6.4 Mongo和HBase客户端使用
    • 6.4.1 Mongo客户端
    • 6.4.2 HBase客户端
    • 6.5 总结
    • 第7章 全文检索:ElasticSearch2.x
    • 7.1 认识ElasticSearch和Solr
    • 7.1.1 ElasticSearch和Solr基本介绍
    • 7.1.2 ES基本概念
    • 7.1.3 ES和SolrCloud集群结构
    • 7.1.4 ES使用案例
    • 7.2 ES和Solr比较分析
    • 7.2.1 ES和Solr发展比较
    • 7.2.2 ES和Solr综合比较
    • 7.3 ES集群介绍
    • 7.3.1 插件安装
    • 7.3.2 中文分词安装
    • 7.3.3 ES2.X集群节点类型
    • 7.3.4 ES配置事项
    • 7.4 ES客户端使用
    • 7.4.1 ES客户端连接
    • 7.4.2 ES基本操作
    • 7.4.3 ES高级使用
    • 7.5 ES在自研框架中的作用
    • 7.6 总结
    • 第8章 微服务架构通信——RPC和Web Service
    • 8.1 微服务架构由来
    • 8.1.1 微服务与SOA比较
    • 8.1.2 微服务架构的优缺点
    • 8.1.3 微服务雪崩效应的防范
    • 8.2 RPC介绍及实践
    • 8.2.1 Thrift/Nifty介绍
    • 8.2.2 Avro介绍
    • 8.2.3 Dubbo/Dubbox介绍
    • 8.2.4 GRPC/ProtoBuf介绍
    • 8.2.5 ZeroC ICE
    • 8.3 Web Service介绍及实践
    • 8.3.1 SOAP和Rest
    • 8.3.2 JWS(JDK自身实现Web Service)
    • 8.3.3 Jetty:嵌入式Servlet容器
    • 8.3.4 基于Spring MVC
    • 8.3.5 其他Web Service框架
    • 8.4 总结
    • 第9章 综合实例:新闻推荐中的用户画像近实时更新
    • 9.1 个性化推荐系统组成
    • 9.1.1 用户行为收集
    • 9.1.2 行为日志解析
    • 9.1.3 常用推荐算法
    • 9.1.4 用户画像数据仓库
    • 9.1.5 元数据索引库
    • 9.1.6 用户推荐服务
    • 9.2 新闻推荐中用户画像近实时更新设计
    • 9.2.1 新闻推荐中用户画像构成
    • 9.2.2 新闻推荐中用户画像标签数据字典
    • 9.2.3 新闻推荐用户画像实时更新流程
    • 9.3 新闻推荐用户画像近实时更新技术实现
    • 9.3.1 Storm接入Kafka实时计算实例
    • 9.3.2 Spark Streaming 接入Kafka实时计算实例
    • 9.3.3 Light_drtc接入Kafka
    • 9.3.4 用户画像实时更新核心实现
    • 9.4 总结

    上一篇:分布式消息中间件实践  下一篇:UML2基础、建模与设计实战

    展开 +

    收起 -

    码小辫二维码
     ←点击下载即可登录

    分布式相关电子书
    学习笔记
    网友NO.720425

    springboot 打包部署 共享依赖包(分布式开发集中式部署微服务)

    1、此文初衷 平常我们在进行微服务开发完毕后,单个微服务理应部署单个虚机上(docker也可),然后服务集中发布到服务注册中心上,但是有些小的项目,这样做未免太过繁杂增加了部署难度,这里主要讲述的是如何在单机上通过共享jar包的方式来部署多个微服务,解决以上部署难度同时在带宽不够或者网速慢的情况下如何快速的发布部署。 2、部署目录结构 部署目录解答-》 各个微服务与依赖包(lib文件夹下)在同一级目录下,此为图1内容。图二内容展示的是单个微服务内的文件结构,部署配置文件以及所打的jar包,这里可以看到单个微服务的jar包只有32KB,非常小。 3、如何利用maven打包 大家只需要在自己的springboot项目的pom文件中按照如下方式修改 build plugins plugin artifactIdmaven-jar-plugin/artifactId configuration archive manifest addClasspathtrue/addClasspath classpathPrefix../lib//classpathPrefix useUniqueVersionsfalse/useUniqueVersions mainClasscom.rzt.TestApplication/mainClass /manifest /archive excludes exclude*.properties/exclude /excludes /configuration /plugin plugin groupIdorg.apache.maven.plugins/groupId artifactIdmaven-dependency-plugin/artifactId executions execution idcopy/id phasepackage/phase goals goalcopy-dependencies/goal /goals configuration outputDirectory ${project.build.directory}/lib /outputDirectory /configuration /execution /executi……

    网友NO.791397

    zookeeper实现分布式锁

    一、分布式锁介绍 分布式锁主要用于在分布式环境中保护跨进程、跨主机、跨网络的共享资源实现互斥访问,以达到保证数据的一致性。 二、架构介绍 在介绍使用Zookeeper实现分布式锁之前,首先看当前的系统架构图 解释: 左边的整个区域表示一个Zookeeper集群,locker是Zookeeper的一个 持久节点 ,node_1、node_2、node_3是locker这个持久节点下面的 临时顺序节点 。client_1、client_2、client_n表示多个客户端,Service表示需要互斥访问的共享资源。 三、分布式锁获取思路 1.获取分布式锁的总体思路 在获取分布式锁的时候在locker节点下创建临时顺序节点,释放锁的时候删除该临时节点。客户端调用createNode方法在locker下创建临时顺序节点,然后调用getChildren(“locker”)来获取locker下面的所有子节点,注意此时不用设置任何Watcher。客户端获取到所有的子节点path之后,如果发现自己在之前创建的子节点序号最小,那么就认为该客户端获取到了锁。如果发现自己创建的节点并非locker所有子节点中最小的,说明自己还没有获取到锁,此时客户端需要找到比自己小的那个节点,然后对其调用exist()方法,同时对其注册事件监听器。之后,让这个被关注的节点删除,则客户端的Watcher会收到相应通知,此时再次判断自己创建的节点是否是locker子节点中……

    网友NO.999093

    SpringCloud之分布式配置中心Spring Cloud Config高可用配置实例代码

    一、简介 当要将配置中心部署到生产环境中时,与服务注册中心一样,我们也希望它是一个高可用的应用。Spring Cloud Config实现服务端的高可用非常简单,主要有以下两种方式。 传统模式:不需要为这些服务端做任何额外的配置,只需要遵守一个配置规则,将所有的Config Server都指向同一个Git仓库,这样所有的配置内容就通过统一的共享文件系统来维护。而客户端在指定Config Server位置时,只需要配置Config Server上层的负载均衡设备地址即可, 就如下图所示的结构。 服务模式:除了上面这种传统的实现模式之外,我们也可以将Config Server作为一个普通的微服务应用,纳入Eureka的服务治理体系中。这样我们的微服务应用就可以通过配置中心的服务名来获取配置信息,这种方式比起传统的实现模式来说更加有利于维护,因为对于服务端的负载均衡配置和客户端的配置中心指定都通过服务治理机制一并解决了,既实现了高可用,也实现了自维护。由于这部分的实现需要客户端的配合,具体示例读者可详细阅读 “客户端详解 ”一节中的 “服务化配置中心” 小节。 二、前期准备 一个服务注册中心,EUREKASERVER,端口为5555; 三、改造Config-Server (1)pom.xml,添加spring-cloud-starter-eureka依赖 dependencies dependency groupIdorg.springframework.cloud/group……

    网友NO.528164

    浅谈Java(SpringBoot)基于zookeeper的分布式锁实现

    通过zookeeper实现分布式锁 1、创建zookeeper的client 首先通过CuratorFrameworkFactory创建一个连接zookeeper的连接CuratorFramework client public class CuratorFactoryBean implements FactoryBeanCuratorFramework, InitializingBean, DisposableBean { private static final Logger LOGGER = LoggerFactory.getLogger(ContractFileInfoController.class); private String connectionString; private int sessionTimeoutMs; private int connectionTimeoutMs; private RetryPolicy retryPolicy; private CuratorFramework client; public CuratorFactoryBean(String connectionString) { this(connectionString, 500, 500); } public CuratorFactoryBean(String connectionString, int sessionTimeoutMs, int connectionTimeoutMs) { this.connectionString = connectionString; this.sessionTimeoutMs = sessionTimeoutMs; this.connectionTimeoutMs = connectionTimeoutMs; } @Override public void destroy() throws Exception { LOGGER.info("Closing curator framework..."); this.client.close(); LOGGER.info("Closed curator framework."); } @Override public CuratorFramework getObject() throws Exception { return this.client; } @Override public Class? getObjectType() { return this.client != null ? this.client.getClass() : CuratorFramework.class; } @Override public boolean isSingleton() { return true; } @Override public void afterPropertiesSet() throws Exception { if (StringUtils.isEmpty(this.connectionString)) { throw new IllegalStateException("connectionString can not be empty."); } else { if (this.retryPolicy == null) { this……

    Copyright 2018-2019 xz577.com 码农之家

    版权责任说明