内容介绍
每个应用程序都会产生数据，包括日志消息、度量指标、用户活动记录、响应消息等。如何移动数据，几乎变得与数据本身一样重要。如果你是架构师、开发者或者产品工程师，同时也是Apache Kafka新手，那么这本实践指南将会帮助你成为流式平台上处理实时数据的专家。
本书由出身于LinkedIn的Kafka核心作者和一线技术人员共同执笔，详细介绍了如何部署Kafka集群、开发可靠的基于事件驱动的微服务，以及基于Kafka平台构建可伸缩的流式应用程序。通过详尽示例，你将会了解到Kafka的设计原则、可靠性保证、关键API，以及复制协议、控制器和存储层等架构细节。
目录
- 序 xiii
- 前言 xv
- 第 1 章 初识Kafka 1
- 1.1 发布与订阅消息系统 1
- 1.1.1 如何开始 2
- 1.1.2 独立的队列系统 3
- 1.2 Kafka登场 4
- 1.2.1 消息和批次 4
- 1.2.2 模式 4
- 1.2.3 主题和分区 5
- 1.2.4 生产者和消费者 5
- 1.2.5 broker和集群 6
- 1.2.6 多集群 7
- 1.3 为什么选择Kafka 8
- 1.3.1 多个生产者 8
- 1.3.2 多个消费者 8
- 1.3.3 基于磁盘的数据存储 9
- 1.3.4 伸缩性 9
- 1.3.5 高性能 9
- 1.4 数据生态系统 9
- 1.5 起源故事 11
- 1.5.1 LinkedIn的问题 11
- 1.5.2 Kafka的诞生 12
- 1.5.3 走向开源 12
- 1.5.4 命名 13
- 1.6 开始Kafka之旅 13
- 第 2 章 安装Kafka 14
- 2.1 要事先行 14
- 2.1.1 选择操作系统 14
- 2.1.2 安装Java 14
- 2.1.3 安装Zookeeper 15
- 2.2 安装Kafka Broker 17
- 2.3 broker配置 18
- 2.3.1 常规配置 18
- 2.3.2 主题的默认配置 19
- 2.4 硬件的选择 23
- 2.4.1 磁盘吞吐量 23
- 2.4.2 磁盘容量 23
- 2.4.3 内存 23
- 2.4.4 网络 24
- 2.4.5 CPU 24
- 2.5 云端的Kafka 24
- 2.6 Kafka集群 24
- 2.6.1 需要多少个broker 25
- 2.6.2 broker 配置 25
- 2.6.3 操作系统调优 26
- 2.7 生产环境的注意事项 28
- 2.7.1 垃圾回收器选项 28
- 2.7.2 数据中心布局 29
- 2.7.3 共享Zookeeper 29
- 2.8 总结 30
- 第 3 章 Kafka生产者——向Kafka写入数据 31
- 3.1 生产者概览 32
- 3.2 创建Kafka生产者 33
- 3.3 发送消息到Kafka 34
- 3.3.1 同步发送消息 35
- 3.3.2 异步发送消息 35
- 3.4 生产者的配置 36
- 3.5 序列化器 39
- 3.5.1 自定义序列化器 39
- 3.5.2 使用Avro序列化 41
- 3.5.3 在Kafka里使用Avro 42
- 3.6 分区 45
- 3.7 旧版的生产者API 46
- 3.8 总结 47
- 第 4 章 Kafka消费者——从Kafka读取数据 48
- 4.1 KafkaConsumer概念 48
- 4.1.1 消费者和消费者群组 48
- 4.1.2 消费者群组和分区再均衡 51
- 4.2 创建Kafka消费者 52
- 4.3 订阅主题 53
- 4.4 轮询 53
- 4.5 消费者的配置 55
- 4.6 提交和偏移量 57
- 4.6.1 自动提交 58
- 4.6.2 提交当前偏移量 59
- 4.6.3 异步提交 59
- 4.6.4 同步和异步组合提交 61
- 4.6.5 提交特定的偏移量 61
- 4.7 再均衡监听器 62
- 4.8 从特定偏移量处开始处理记录 64
- 4.9 如何退出 66
- 4.10 反序列化器 67
- 4.11 独立消费者——为什么以及怎样使用没有群组的消费者 71
- 4.12 旧版的消费者API 71
- 4.13 总结 72
- 第 5 章 深入Kafka 73
- 5.1 集群成员关系 73
- 5.2 控制器 74
- 5.3 复制 74
- 5.4 处理请求 76
- 5.4.1 生产请求 78
- 5.4.2 获取请求 78
- 5.4.3 其他请求 80
- 5.5 物理存储 81
- 5.5.1 分区分配 81
- 5.5.2 文件管理 82
- 5.5.3 文件格式 83
- 5.5.4 索引 84
- 5.5.5 清理 84
- 5.5.6 清理的工作原理 84
- 5.5.7 被删除的事件 86
- 5.5.8 何时会清理主题 86
- 5.9 总结 86
- 第 6 章 可靠的数据传递 87
- 6.1 可靠性保证 87
- 6.2 复制 88
- 6.3 broker配置 89
- 6.3.1 复制系数 89
- 6.3.2 不完全的首领选举 90
- 6.3.3 最少同步副本 91
- 6.4 在可靠的系统里使用生产者 92
- 6.4.1 发送确认 92
- 6.4.2 配置生产者的重试参数 93
- 6.4.3 额外的错误处理 94
- 6.5 在可靠的系统里使用消费者 94
- 6.5.1 消费者的可靠性配置 95
- 6.5.2 显式提交偏移量 95
- 6.6 验证系统可靠性 97
- 6.6.1 配置验证 98
- 6.6.2 应用程序验证 98
- 6.6.3 在生产环境监控可靠性 99
- 6.7 总结 100
- 第 7 章 构建数据管道 101
- 7.1 构建数据管道时需要考虑的问题 102
- 7.1.1 及时性 102
- 7.1.2 可靠性 102
- 7.1.3 高吞吐量和动态吞吐量 103
- 7.1.4 数据格式 103
- 7.1.5 转换 104
- 7.1.6 安全性 104
- 7.1.7 故障处理能力 104
- 7.1.8 耦合性和灵活性 105
- 7.2 如何在Connect API和客户端API之间作出选择 105
- 7.3 Kafka Connect 106
- 7.3.1 运行Connect 106
- 7.3.2 连接器示例——文件数据源和文件数据池 107
- 7.3.3 连接器示例——从MySQL到ElasticSearch 109
- 7.3.4 深入理解Connect 114
- 7.4 Connect之外的选择 116
- 7.4.1 用于其他数据存储的摄入框架 116
- 7.4.2 基于图形界面的ETL工具 117
- 7.4.3 流式处理框架 117
- 7.5 总结 117
- 第 8 章 跨集群数据镜像 118
- 8.1 跨集群镜像的使用场景 118
- 8.2 多集群架构 119
- 8.2.1 跨数据中心通信的一些现实情况 119
- 8.2.2 Hub和Spoke架构 120
- 8.2.3 双活架构 121
- 8.2.4 主备架构 123
- 8.2.5 延展集群 127
- 8.3 Kafka的MirrorMaker 128
- 8.3.1 如何配置 129
- 8.3.2 在生产环境部署MirrorMaker 130
- 8.3.3 MirrorMaker调优 132
- 8.4 其他跨集群镜像方案 134
- 8.4.1 优步的uReplicator 134
- 8.4.2 Confluent的Replicator 135
- 8.5 总结 135
- 第 9 章 管理Kafka 136
- 9.1 主题操作 136
- 9.1.1 创建主题 137
- 9.1.2 增加分区 138
- 9.1.3 删除主题 138
- 9.1.4 列出集群里的所有主题 139
- 9.1.5 列出主题详细信息 139
- 9.2 消费者群组 140
- 9.2.1 列出并描述群组 140
- 9.2.2 删除群组 142
- 9.2.3 偏移量管理 142
- 9.3 动态配置变更 143
- 9.3.1 覆盖主题的默认配置 143
- 9.3.2 覆盖客户端的默认配置 145
- 9.3.3 列出被覆盖的配置 145
- 9.3.4 移除被覆盖的配置 146
- 9.4 分区管理 146
- 9.4.1 首选的首领选举 146
- 9.4.2 修改分区副本 147
- 9.4.3 修改复制系数 150
- 9.4.4 转储日志片段 151
- 9.4.5 副本验证 152
- 9.5 消费和生产 153
- 9.5.1 控制台消费者 153
- 9.5.2 控制台生产者 155
- 9.6 客户端ACL 157
- 9.7 不安全的操作 157
- 9.7.1 移动集群控制器 157
- 9.7.2 取消分区重分配 157
- 9.7.3 移除待删除的主题 158
- 9.7.4 手动删除主题 158
- 9.8 总结 159
- 第 10 章 监控Kafka 160
- 10.1 度量指标基础 160
- 10.1.1 度量指标在哪里 160
- 10.1.2 内部或外部度量 161
- 10.1.3 应用程序健康检测 161
- 10.1.4 度量指标的覆盖面 161
- 10.2 broker的度量指标 162
- 10.2.1 非同步分区 162
- 10.2.2 broker度量指标 166
- 10.2.3 主题和分区的度量指标 173
- 10.2.4 Java虚拟机监控 174
- 10.2.5 操作系统监控 175
- 10.2.6 日志 176
- 10.3 客户端监控 177
- 10.3.1 生产者度量指标 177
- 10.3.2 消费者度量指标 179
- 10.3.3 配额 181
- 10.4 延时监控 182
- 10.5 端到端监控 183
- 10.6 总结 183
- 第 11 章 流式处理 184
- 11.1 什么是流式处理 185
- 11.2 流式处理的一些概念 186
- 11.2.1 时间 187
- 11.2.2 状态 188
- 11.2.3 流和表的二元性 188
- 11.2.4 时间窗口 189
- 11.3 流式处理的设计模式 190
- 11.3.1 单个事件处理 191
- 11.3.2 使用本地状态 191
- 11.3.3 多阶段处理和重分区 193
- 11.3.4 使用外部查找——流和表的连接 193
- 11.3.5 流与流的连接 195
- 11.3.6 乱序的事件 195
- 11.3.7 重新处理 196
- 11.4 Streams示例 197
- 11.4.1 字数统计 197
- 11.4.2 股票市场统计 199
- 11.4.3 填充点击事件流 201
- 11.5 Kafka Streams的架构概览 202
- 11.5.1 构建拓扑 202
- 11.5.2 对拓扑进行伸缩 203
- 11.5.3 从故障中存活下来 205
- 11.6 流式处理使用场景 205
- 11.7 如何选择流式处理框架 206
- 11.8 总结 208
- 附录A 在其他操作系统上安装Kafka 209
- 作者介绍 214
- 封面介绍 214
