当前位置:主页 > 计算机电子书 > 程序设计 > Kafka下载
Kafka源码解析与实战

Kafka源码解析与实战 PDF 完整影印版

  • 更新:2019-09-16
  • 大小:63.1 MB
  • 类别:Kafka
  • 作者:王亮
  • 出版:机械工业出版社
  • 格式:PDF

  • 资源介绍
  • 相关推荐

Kafka源码解析与实战

这书从LinkedIn(领英)公司内部大数据架构说起,引申出消息队列Kafka,然后解读Kafka的基本构架,随后主要分析Kafka内部的各控制模块实现细节。从问世背景至构架构成,再到内部实现细节,循序渐进,由浅入深。这书不仅解读Kafka内部的实现原理,而且还详细说明Kafka外界的维护工具,对外开放的手机客户端程序编写原理以及和第三方集成化的方式。这书在解读Kafka的过程中交叉了大量的图片,图片配文字,栩栩如生形象,使用户能更加深层次地了解Kafka。

目录

  • 前言
  • 第1章 Kafka简介 1
  • 1.1 Kafka诞生的背景 1
  • 1.2 Kafka在LinkedIn内部的应用 3
  • 1.3 Kafka的主要设计目标 4
  • 1.4 为什么使用消息系统 4
  • 1.5 本章小结 5
  • 第2章 Kafka的架构 6
  • 2.1 Kafka的基本组成 6
  • 2.2 Kafka的拓扑结构 8
  • 2.3 Kafka内部的通信协议 9
  • 2.4 本章小结 12
  • 第3章 Broker概述 13
  • 3.1 Broker的启动 13
  • 3.2 Broker内部的模块组成 15
  • 3.3 本章小结 18
  • 第4章 Broker的基本模块 19
  • 4.1 SocketServer 19
  • 4.2 KafkaRequestHandlerPool 25
  • 4.3 KafkaApis 27
  • 4.3.1 LogManager 27
  • 4.3.2 ReplicaManager 37
  • 4.3.3 OffsetManager 47
  • 4.3.4 KafkaScheduler 51
  • 4.3.5 KafkaApis 52
  • 4.4 KafkaHealthcheck 81
  • 4.5 TopicConfigManager 83
  • 4.6 本章小结 85
  • 第5章 Broker的控制管理模块 86
  • 5.1 KafkaController的选举策略 86
  • 5.2 KafkaController的初始化 91
  • 5.2.1 Leader状态下KafkaController的初始化 91
  • 5.2.2 Standby状态下KafkaController的初始化 94
  • 5.3 Topic的分区状态转换机制 95
  • 5.3.1 分区状态的分类 95
  • 5.3.2 分区状态的转换 96
  • 5.3.3 PartitionStateMachine模块的启动 102
  • 5.4 Topic分区的领导者副本选举策略 103
  • 5.4.1 NoOpLeaderSelector 104
  • 5.4.2 Off?linePartitionLeaderSelector 104
  • 5.4.3 ReassignedPartitionLeader-Selector 106
  • 5.4.4 PreferredReplicaPartition-LeaderSelector 107
  • 5.4.5 ControlledShutdownLeader-Selector 108
  • 5.5 Topic分区的副本状态转换机制 109
  • 5.5.1 副本状态的分类 110
  • 5.5.2 副本状态的转换 111
  • 5.5.3 ReplicaStateMachine模块的启动 117
  • 5.6 KafkaController内部的监听器 118
  • 5.6.1 TopicChangeListener 119
  • 5.6.2 AddPartitionsListener 121
  • 5.6.3 PartitionsReassignedListener 122
  • 5.6.4 ReassignedPartitionsIsr-ChangeListener 128
  • 5.6.5 PreferredReplicaElection-Listener 130
  • 5.6.6 BrokerChangeListener 132
  • 5.6.7 DeleteTopicsListener 135
  • 5.7 Kafka集群的负载均衡流程 136
  • 5.8 Kafka集群的Topic删除流程 140
  • 5.9 KafkaController的通信模块 146
  • 5.10 本章小结 150
  • 第6章 Topic的管理工具 151
  • 6.1 kafka-topics.sh 151
  • 6.1.1 createTopic 153
  • 6.1.2 alterTopic 156
  • 6.1.3 listTopics 160
  • 6.1.4 describeTopic 161
  • 6.1.5 deleteTopic 163
  • 6.2 kafka-reassign-partitions.sh 164
  • 6.2.1 generateAssignment 166
  • 6.2.2 executeAssignment 167
  • 6.2.3 verifyAssignment 170
  • 6.3 kafka-preferred-replica-election.sh 172
  • 6.4 本章小结 175
  • 第7章 生产者 176
  • 7.1 设计原则 176
  • 7.2 示例代码 176
  • 7.3 模块组成 180
  • 7.3.1 ProducerSendThread 180
  • 7.3.2 ProducerPool 182
  • 7.3.3 DefaultEventHandler 184
  • 7.4 发送模式 189
  • 7.4.1 同步模式 189
  • 7.4.2 异步模式 189
  • 7.5 本章小结 192
  • 第8章 消费者 193
  • 8.1 简单消费者 193
  • 8.1.1 设计原则 193
  • 8.1.2 消费者流程 194
  • 8.1.3 示例代码 195
  • 8.1.4 原理解析 200
  • 8.2 高级消费者 202
  • 8.2.1 设计原则 202
  • 8.2.2 消费者流程 203
  • 8.2.3 示例代码 204
  • 8.2.4 原理解析 205
  • 8.3 本章小结 227
  • 第9章 Kafka的典型应用 228
  • 9.1 Kafka和Storm的集成 228
  • 9.1.1 Storm简介 228
  • 9.1.2 示例代码 230
  • 9.2 Kafka和ELK的集成 235
  • 9.2.1 ELK简介 235
  • 9.2.2 配置流程 236
  • 9.3 Kafka和Hadoop的集成 237
  • 9.3.1 Hadoop简介 237
  • 9.3.2 示例代码 239
  • 9.4 Kafka和Spark的集成 242
  • 9.4.1 Spark简介 242
  • 9.4.2 示例代码 245
  • 9.5 本章小结 247
  • 第10章 Kafka的综合实例 248
  • 10.1 安防大数据的主要应用 248
  • 10.2 Kafka在安防整体解决方案中的角色 249
  • 10.3 典型业务 250
  • 10.3.1 车辆人脸图片数据的入库 251
  • 10.3.2 视频数据的入库 252
  • 10.3.3 数据延时的监控 254
  • 10.3.4 数据质量的监控 256
  • 10.3.5 布控统计 258
  • 10.3.6 容灾备份 259
  • 10.4 本章小结 260

资源下载

资源下载地址1:https://pan.baidu.com/s/1ooSd2Ch3rl8hyeLiFJ0rTw

相关资源

网友留言