标签分类
当前位置:首页 > 计算机理论电子书 > Kafka电子书网盘下载
构建Apache Kafka流数据应用 构建Apache Kafka流数据应用
萧曵 丶

萧曵 丶 提供上传

资源
30
粉丝
30
喜欢
6
评论
16

    构建Apache Kafka流数据应用 PDF 全书影印版

    Kafka电子书
    • 发布时间:

    给大家带来的一篇关于Kafka相关的电子书资源,介绍了关于构建、Apache、Kafka、流、数据、应用、构建、Apache、Kafka、流、数据、应用、方面的内容,本书是由清华大学出版社出版,格式为PDF,资源大小144.5 MB,曼尼施·库马尔编写,目前豆瓣、亚马逊、当当、京东等电子书综合评分为:9.5,更多相关的学习资源可以参阅 计算机理论电子书、等栏目。

  • 构建Apache Kafka流数据应用 PDF 下载
  • 下载地址:https://pan.baidu.com/s/1pK93uChr9PgSCDB_H9SGPg
  • 分享码:9898
  • 构建Apache Kafka流数据应用 PDF

    Apache Kafka是1个时兴的分布式系统流服务平台,它当做消息队列或公司信息系统软件。它容许你公布和定阅纪录流,并且以试错的方法解决他们。

    这书是应用Apache Kafka集成化别的互联网大数据小工具设计构思和搭建公司级流手机应用程序的综合性手册。它包含搭建该类手机应用程序的*实践活动,并处理了某些普遍的趣味性难题,比如怎样合理地应用Kafka来轻轻松松解决高容统计数据。这书最先详细介绍了信息系统软件种类,随后详解了Apache Kafka以及內部关键点。这书的其次一部分详细介绍了怎么使用各种各样架构和小工具(如Apache Spark、Apache Storm等)设计构思流手机应用程序。如果你把握了基本知识,人们将陪你了解Apache Kafka中更高級的定义,比如容积整体规划和安全系数。

    到这书完毕时,你将把握应用Apache Kafka时需必须的全部信息内容,并应用它设计构思高效率的流统计数据运用。Apache Kafka是1个时兴的分布式系统流服务平台,当做消息队列或公司消息传递系统软件。它用于公布和定阅数据流分析,并在产生不正确时以试错方法解决他们。 这书共13章,全方位详细介绍应用Apache Kafka等互联网大数据小工具设计构思和搭建公司级流运用层面的內容,包含搭建流手机应用程序的*实践活动,并处理了某些普遍的挑戰,比如怎样高效率地应用Kafka轻轻松松解决高容统计数据。进行这书的学习培训后,用户能应用Kafka设计构思高效率的流统计数据手机应用程序。 这书既合适Kafka新手、大数据的应用开发者、大数据的应用运维管理工作人员阅读文章,也合适高等学校与培训机构有关技术专业的老师学生课堂教学参照。

    目录

    • 其他生产者配置    40
    • Java编程语言:Kafka生产者示例    42
    • 常见的消息发布模式    44
    • 最佳实践    46
    • 总  结    48
    • 第4章  深入研究Kafka消费者    49
    • Kafka消费者内部机制    50
    • 理解Kafka消费者的职责    50
    • Kafka消费者API    52
    • 消费者配置    52
    • 订阅和轮询    54
    • 提交和轮询    56
    • 其他配置    59
    • 利用Java实现Kafka消费者    60
    • 利用Scala实现Kafka消费者    62
    • Rebalance listeners    64
    • 常用的消息消费模式    64
    • 最佳实践    67
    • 总  结    68
    • 第5章  集成Kafka 构建Spark Streaming应用    69
    • Spark介绍    70
    • Spark架构    70
    • Spark的核心    72
    • Spark生态系统    73
    • Spark Streaming    75
    • Receiver-based集成    75
    • Receiver-based approach的缺点    77
    • Receiver-based集成的Java示例    77
    • Receiver-based集成的Scala示例    79
    • Direct approach    80
    • Direct approach的Java示例    82
    • Direct approach的Scala示例    83
    • 日志处理用例—欺诈IP检测    84
    • Maven    85
    • 生产者    89
    • Reader属性    89
    • 生产者代码    90
    • 欺诈IP查找    92
    • 暴露Hive表    93
    • Streaming代码    94
    • 总  结    97
    • 第6章  集成Kafka构建Storm应用    98
    • Apache Storm介绍    98
    • Storm集群架构    99
    • Storm应用程序的概念    100
    • Apache Heron介绍    101
    • Heron架构    102
    • Heron topology架构    103
    • 集成Apache Kafka与Apache Storm - Java    104
    • 示  例    105
    • 集成Apache Kafka与Apache Storm - Scala    110
    • 用例—使用Storm、Kafka和Hive处理日志    114
    • 生产者    118
    • 生产者代码    119
    • 欺诈IP查找    122
    • Storm应用程序    123
    • 运行项目    132
    • 总  结    133
    • 第7章  使用Kafka与 Confluent Platform    134
    • Confluent Platform介绍    135
    • 深入Confluent Platform架构    136

    理解Kafka Connect 和 Kafka Stream    139
    Kafka Streams    139
    使用Schema Registry与Avro交互    140
    将Kafka数据移动到HDFS    142
    Camus    142
    运行Camus    143
    Gobblin    144
    Gobblin架构    144
    Kafka Connect    146
    Flume    147
    总  结    150
    第8章  使用Kafka构建ETL管道    151
    在ETL管道中使用Kafka    151
    介绍Kafka Connect    153
    深入研究Kafka Connect    154
    介绍使用Kafka Connect示例    155
    Kafka Connect常见的用例    159
    总  结    160
    第9章  使用Kafka Streams 构建流应用程序    161
    介绍Kafka Streams    161
    在流处理中使用Kafka    162
    Kafka Stream—轻量级流处理库    163
    Kafka Stream架构    164
    集成框架的优势    166
    理解Tables和Streams    167
    Maven依赖    167
    Kafka Stream单词计数    168
    KTable    170
    Kafka Stream使用案例    171
    Kafka Streams的Maven依赖    171
    reader属性    172
    IP记录生产者    173
    IP查询服务    176
    欺诈检测应用程序    177
    总  结    179
    第10章  Kafka集群部署    180
    Kafka集群的内部结构    180
    Zookeeper角色    181
    复  制    182
    元数据(Metadata)请求处理    184
    生产者(Producer)请求处理    184
    消费者(Consumer)请求处理    185
    容量规划    186
    容量规划的目标    186
    复制因子    186
    内  存    187
    硬盘驱动器    187
    网  络    188
    CPU    188
    Kafka单集群部署    189
    Kafka多集群部署    190
    退役brokers    192
    数据迁移    192
    总  结    193
    第11章  在大数据应用中使用Kafka    194
    管理Kafka的高容量    195
    适当的硬件选择    195
    生产者读取和消费者写入的选择    197
    Kafka消息传递语义    198
    至少一次传递    199
    最多一次传递    202
    正好一次传递    203
    大数据和Kafka常见的使用模式    204
    Kafka和数据治理    206
    报警和监控    207
    有用的Kafka指标    208
    Kafka生产者指标    208
    Kafka broker指标    209
    Kafka消费者指标    209
    总  结    210

    第12章  Kafka安全    211
    Kafka安全的概述    211
    SSL有线加密    212
    Kafka启用SSL的步骤    213
    为Kafka broker配置SSL    214
    为Kafka客户端配置SSL    214
    Kerberos SASL认证    215
    在Kafka中启用SASL/GSSAPI的步骤    217
    为Kafka broker配置SASL    217
    为Kafka客户端配置SASL―生产者和消费者    219
    理解ACL和授权    220
    常见的ACL操作    221
    ACLs列表    222
    Zookeeper身份验证    223
    Apache Ranger授权    224
    为Ranger添加Kafka服务    224
    添加策略(policies)    225
    最佳实践    227
    总  结    229
    第13章  流应用程序设计的考虑    230
    延迟和吞吐量    231
    数据和状态的持久性    232
    数据源    232
    外部数据查询    233
    数据格式    233
    数据序列化    234
    并行度    234
    无序的事件    235
    消息处理语义    235
    总  结    236

    上一篇:跟老齐学Python:数据分析  下一篇:构建实时机器学习系统

    展开 +

    收起 -

    码小辫二维码
     ←点击下载即可登录

    Kafka相关电子书
    学习笔记
    网友NO.251831

    kafka-python批量发送数据的实例

    如下所示: from kafka import KafkaClientfrom kafka.producer import SimpleProducer def send_data_2_kafka(datas): ''' 向kafka解析队列发送数据 ''' client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30) producer = SimpleProducer(client, async=False) curcount = len(datas)/PARTNUM for i in range(0, PARTNUM): start = i*curcount if i != PARTNUM - 1: end = (i+1)*curcount curdata = datas[start:end] producer.send_messages(TOPICNAME, *curdata) else: curdata = datas[start:] producer.send_messages(TOPICNAME, *curdata) producer.stop() client.close() 其中PARTNUM为topic的partition的数目,这样保证批量发送的数据均匀的落在kafka的partition中。 以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。 ……

    网友NO.744458

    对python操作kafka写入json数据的简单demo分享

    如下所示: 安装kafka支持库pip install kafka-python from kafka import KafkaProducerimport json ''' 生产者demo 向test_lyl2主题中循环写入10条json数据 注意事项:要写入json数据需加上value_serializer参数,如下代码'''producer = KafkaProducer( value_serializer=lambda v: json.dumps(v).encode('utf-8'), bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667'] )for i in range(10): data={ "name":"李四", "age":23, "gender":"男", "id":i } producer.send('test_lyl2', data)producer.close() from kafka import KafkaConsumerimport json ''' 消费者demo 消费test_lyl2主题中的数据 注意事项:如需以json格式读取数据需加上value_deserializer参数''' consumer = KafkaConsumer('test_lyl2',group_id="lyl-gid1", bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667'], auto_offset_reset='earliest',value_deserializer=json.loads )for message in consumer: print(message.value) 以上这篇对python操作kafka写入json数据的简单demo分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。 ……

    网友NO.187258

    Springboot集成Kafka实现producer和consumer的示例代码

    本文介绍如何在springboot项目中集成kafka收发message。 Kafka是一种高吞吐量的分布式发布订阅消息系统,有如下特性: 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。支持通过Kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。 安装Kafka 因为安装kafka需要zookeeper的支持,所以Windows安装时需要将zookeeper先安装上,然后将kafka安装好就可以了。 下面我给出Mac安装的步骤以及需要注意的点吧,windows的配置除了所在位置不太一样其他几乎没什么不同。 brew install kafka 对,就是这么简单,mac上一个命令就可以搞定了,这个安装过程可能需要等一会儿,应该是和网络状况有关系。安装提示信息可能有错误消息,如"Error: Could not link: /usr/local/share/doc/homebrew" 这个没关系,自动忽略掉了。 最终我们看到下面的样子就成功咯。 == Summary ᜈ/usr/local/Cellar/kafka/1.1.0: 157 files, 47.8MB 安装的配置文件位置如下,根据自己的需要修改端口号什么的就可以了。 安装的zoopeeper和kafka的位置 /usr/local/Cellar/ 配置文件 /usr/local/etc/kafka/server.properties /usr/local/etc/kafka/zookeeper.properties 启动zookeeper 复制代码 代码如下: ./bin/zookeeper-……

    网友NO.168225

    Kafka源码系列教程之删除topic

    前言 Apache Kafka发源于LinkedIn,于2011年成为Apache的孵化项目,随后于2012年成为Apache的主要项目之一。Kafka使用Scala和Java进行编写。Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。Kafka具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 本文依然是以kafka0.8.2.2为例讲解 一,如何删除一个topic 删除一个topic有两个关键点: 1,配置删除参数 delete.topic.enable这个Broker参数配置为True。 2,执行 bin/kafka-topics.sh --zookeeper zk_host:port/chroot --delete --topic my_topic_name 假如不配置删除参数为true的话,topic其实并没有被清除,只是被标记为删除。此时,估计一般人的做法是删除topic在Zookeeper的信息和日志,其实这个操作并不会清除kafkaBroker内存的topic数据。所以,此时最佳的策略是配置删除参数为true然后,重启kafka。 二,重要的类介绍 1,PartitionStateMachine 该类代表分区的状态机。决定者分区的当前状态,和状态转移。四种状态 NonExistentPartition NewPartition OnlinePartition OfflinePartition 2,ReplicaManager 负责管理当前机器的所有副本,处理读写、删除等具体动作。 读写:写获取partition对象,再获取Replica对象,再获取Log对象,采用其管理的Segment对象将数据写入、读出。 3,ReplicaStateMachine 副本……

    Copyright 2018-2019 xz577.com 码农之家

    版权责任说明