Flume:构建高可用、可扩展的海量日志采集系统

Flume:构建高可用、可扩展的海量日志采集系统 PDF 高清版

  • 大小:72.9 MB
  • 类型:Flume
  • 格式:PDF
  • 出版:电子工业出版社
  • 作者:哈里·史瑞德哈伦
  • 更新:2020-06-11 14:42:30
vip 立即下载( 72.9 MB )
关注公众号免费下载
版权投诉 / 资源反馈(本资源由用户 权建本 投稿)

我们帮大家精选了Flume相关的资料,由电子工业出版社出版,作者是哈里·史瑞德哈伦,介绍了关于Flume、日志采集系统方面,格式为PDF,资源大小72.9 MB,目前在Flume类资源综合评分为:7.8分。

书籍介绍

《Flume:构建高可用、可扩展的海量日志采集系统》从Flume 的基本概念和设计原理开始讲解,分别介绍了不同种类的组件、如何配置组件、如何运行Flume Agent 等。同时,分别讨论Source、Channel 和Sink 三种核心组件,不仅仅阐述每个组件的基本概念,而且结合实际的编程案例,深入、全面地介绍每个组件的详细用法,并且这部分内容也是整个Flume 框架的重中之重。之后,讲解拦截器、Channel选择器、Sink 组和Sink 处理器等内容,它们为Flume 提供灵活的扩展支持。最后,介绍了Flume 的高级使用,如何使用Flume 软件开发工具集(SDK)和Embedded Agent API,如何设计、部署和监控Flume 生产集群。

总而言之,《Flume:构建高可用、可扩展的海量日志采集系统》是一本理论结合实战,深度、广度兼备的海量日志采集系统的著作。

目录

  • 译者序 v
  • 序 xiii
  • 前言 x
  • 第1 章 认识Apache Hadoop 和Apache HBase 1
  • 分布式文件系统HDFS 1
  • HDFS 的数据格式 3
  • 处理HDFS 中的数据 4
  • Apache HBase 4
  • 总结 5
  • 参考文献 6
  • 第2 章 用Apache Flume 处理流数据 7
  • 我们需要Flume 7
  • Flume 是否适合呢? 9
  • Flume Agent 内部原理 10
  • 配置Flume Agent 13
  • Flume Agent 之间的相互通信 17
  • 复杂的流 17
  • 复制数据到不同目的地 20
  • 动态路由 21
  • Flume 的无数据丢失保证,Channel 和事务 22
  • Flume Channel 中的事务 23
  • Agent 失败和数据丢失 25
  • 批量的重要性 26
  • 重复怎么样? 27
  • 运行Flume Agent 27
  • 总结 29
  • 参考文献 30
  • 第3 章 源(Source) 31
  • Source 的生命周期 31
  • Sink-to-Source 通信 33
  • Avro Source 34
  • Thrift Source 37
  • RPC Sources 的失败处理 39
  • HTTP Source 40
  • 针对HTTP Source 写处理程序* 42
  • Spooling Directory Source 47
  • 使用Deserializers 读取自定义格式* 50
  • Spooling Directory Source 性能55
  • Syslog Source 55
  • Exec Source 59
  • JMS Source 61
  • 转换JMS 消息为Flume 事件* 63
  • 编写自定义Source* 65
  • Event-Driven Source 和Pollable Source 66
  • 总结 73
  • 参考文献 73
  • 第4 章 Channel 75
  • 事务工作流 76
  • Flume 自带的Channel 78
  • Memory Channel 78
  • File Channel 80
  • 总结 86
  • 参考文献 86
  • 第5 章 Sink 87
  • Sink 的生命周期 88
  • 优化Sink 的性能 89
  • 写入到HDFS :HDFS Sink 89
  • 理解Bucket 90
  • 配置HDFS Sink 93
  • 使用序列化器控制数据格式* 100
  • HBase Sink 106
  • 用序列化器将Flume 事件转换成HBase Put 和Increment* 108
  • RPC Sink 113
  • Avro Sink 113
  • Thrift Sink 115
  • Morphline Solr Sink 116
  • Elastic Search Sink 119
  • 自定义数据格式* 121
  • 其他Sink :Null Sink、Rolling File Sink 和Logger Sink 124
  • 编写自定义Sink* 125
  • 总结 129
  • 参考文献 129
  • 第6 章 拦截器、Channel 选择器、Sink 组和
  • Sink 处理器 131
  • 拦截器 131
  • 时间戳拦截器 132
  • 主机拦截器 133
  • 静态拦截器 133
  • 正则过滤拦截器 134
  • Morphline 拦截器 135
  • UUID 拦截器 136
  • 编写拦截器* 137
  • Channel 选择器 140
  • 复制Channel 选择器 140
  • 多路复用Channel 选择器 141
  • 自定义Channel 选择器* 144
  • Sink 组和Sink 处理器 146
  • Load-Balancing Sink 处理器 148
  • Failover Sink 处理器 151
  • 总结 153
  • 参考文献 154
  • 第7 章 发送数据到Flume* 155
  • 构建Flume 事件 155
  • Flume 客户端SDK 156
  • 创建Flume RPC 客户端 157
  • RPC 客户端接口 157
  • 所有RPC 客户端的公共配置参数 158
  • 默认RPC 客户端 165
  • Load-Balancing RPC 客户端 168
  • Failover RPC 客户端 171
  • Thrift RPC 客户端 172
  • 嵌入式Agent 173
  • 配置嵌入式Agent 175
  • log4j Appender 180
  • Load-Balancing log4j Appender 181
  • 总结 182
  • 参考文献 183
  • 第8 章 规划、部署和监控Flume 185
  • 规划一个Flume 部署 185
  • 修复时间 185
  • 我的Flume Channel 需要多少容量? 186
  • 多少层? 186
  • 通过跨数据中心链接发送数据 188
  • 层分片 190
  • 部署Flume 191
  • 部署自定义代码 191
  • 监控Flume 193
  • 从自定义组件报告度量 196
  • 总结 196
  • 参考文献 196
  • 索引 197

以上就是本次关于书籍资源的介绍和部分内容,我们还整理了以往更新的其它相关电子书资源内容,可以在下方直接下载,关于相关的资源我们在下方做了关联展示,需要的朋友们也可以参考下。

Flume相关资源

  • MATLAB Simulink系统仿真超级学习手册

    MATLAB Simulink系统仿真超级学习手册

    大小:112.7 MBMATLAB电子书

  • Oracle数据库系统原理

    Oracle数据库系统原理

    Oracle数据库系统原理(第2版) 包括数据库基本理论以及Oracle数据库系统知识两部分。主要包括关系模型基本理论、ER图及范式理论、安装Oracle 12c软件、SQL语言、Oracle的逻辑存储空间、索引原理

    大小:112 MBOracle电子书

  • Verilog数字系统设计教程

    Verilog数字系统设计教程

    这书叙述了运用硬件配置描述语言(VerilogHDL)设计方案繁杂数字系统软件的方式 。这类方式 源于30新世纪95时代的英国在国外取得实效后快速在别的优秀工业国获得营销推广和普及化。运用硬件

    大小:123 MBVerilog电子书

  • 大型IT系统性能测试入门经典

    大型IT系统性能测试入门经典

    大型IT系统性能测试入门经典 是一本来自性能测试实战领域的专家作品,主要用来指导性能测试人员规划、设计、实施性能测试。书中深入探讨了性能测试的基础理论与实施方法,并针对大型

    大小:109.1 MB系统测试电子书

  • Android系统安全和反编译实战

    Android系统安全和反编译实战

    Android系统安全和反编译实战 内容分为 4篇,共计 22个章节,循序渐进地讲解了 Android系统安全分析和破解实战的基本知识。本书从搭建应用开发环境开始讲起,依次讲解了基础知识篇、系统安

    大小:131 MBAndroid电子书

  • Android系统源代码情景分析(第3版)

    Android系统源代码情景分析(第3版)

    本书结合使用情景,全面、深入、细致地分析了Android系统的源代码,涉及Linux内核层、硬件抽象层、运行时库层、应用程序框架层及应用程序层

    大小:172 MBAndroid电子书

  • 数据库系统:原理、设计与编程

    数据库系统:原理、设计与编程

    1.这书出示Mooc等輔助教育资源,便捷课堂教学。 2.各章*后小标题得出一个详细新项目实践活动实例,协助阅读者系统软件了解数据库技术运用方式。处理传统式教材内容基础知识与产业链工程项目实践活动错位、工程施工流程过少的难题。 3.这书第7章详细介绍了现阶段很多运用的NoSQL数据库技术以及运用方式,如键值对数据库、列储存数据库、文本文档数据库、图型数据库等技术性专业知识。 这书从基础理论与具体运用紧密结合的视角考虑,详细介绍

    大小:15 MB数据库电子书

  • Android系统源代码分析

    Android系统源代码分析

    Android从诞生到现在仅有短短几年的时间,它凭借其开源开放性、优异的用户体验和极为方便的开发方式,赢得了广大用户和开发者的青睐,目前已经发展成为市场占有率位居第一的智能手机操

    大小:90.5 MBAndroid电子书

  • Linux虚拟化数据中心实战

    Linux虚拟化数据中心实战

    本书共 8 章,采用循序渐进的方式,帮助读者掌握 Linux 虚拟化架构的部署和使用,包括开源虚拟化平台介绍,实验环境搭建,部署使用 KVM 虚拟化,部署使用 oVirt 平台、OpenStack、Docker 和 Hadoop, 以及认识 SDN 架构等内容。 本书以实战操作为主,理论讲解为辅,通过讲解搭建各种物理环境的方法,详细介绍在生产环境中如何使用Linux 部署虚拟化数据中心,可以迅速提高读者的实际动手能力和操作水平。 本书语言通俗易懂,具有很强的可操作性,不仅适合

    大小:68 MB

  • 《斯坦福程序设计入门课:JavaScript实现》代码+ppt+参考答案

    《斯坦福程序设计入门课:JavaScript实现》代码+ppt+参考答案

    本书通过使用一门叫JavaScript的语言,教会你如何编写程序,引导你走上奇妙的计算机科学的旅程。JavaScript语言是基于Web的应用程序的核心语言。书中所有示例代码都可以在任何浏览器上运行,包括你手机上的浏览器。虽然本书是使用JavaScript来演示,然而,更重要的是,本书着重讲解的是编程基本原则,其中的道理可以用在任何其他语言中。本书旨在用于大学课程中的第一门编程课。它覆盖了传统计算机科学首门课程(通常称为CS1)的所有内容。 封面图

    大小:42 MB程序设计配套资源

  • 《Python程序设计(第3版)》教学PPT

    《Python程序设计(第3版)》教学PPT

    编辑推荐 本书具有以下特点:● 广泛使用计算机图形学本书提供一个简单的图形软件包graphics.py作为示例。● 生动有趣的例子本书包含了完整的编程示例来解决实际问题。● 亲切自然的行文以自然的叙事风格介绍了重要的计算机科学概念。● 灵活的螺旋式学习过程简单地呈现概念,逐渐介绍新的思想,章节末加以巩固强化。● 时机恰好地介绍对象本书既不是严格的早讲对象,也不是晚讲对象,而是在命令式编程的基础上简要地介绍了对象概念。● 提

    大小:5 MBPython配套资源

  • Visual Basic.NET基础教程

    Visual Basic.NET基础教程 课后答案

    本书共分为9章,主要内容包括VB.NET语言的运行环境、安装方法、程序组成等,以及如何设计、编写和运行VB.NET程序;数据类型、变量、日期和时间函数、运算符与表达式,以及面向对象的程序设计;算法和算法的优化方法;控件的各种使用技巧、组件的概念和应用,以及键盘事件和鼠标事件等基础知识;数据结构的基础知识、数组的创建与使用、多种排序方法、过程,以及如何实现递归思想等内容;VB.NET应用程序的开发,包括菜单和对话框、状态栏和工

    大小:182 KBVB教程课后答案

  • Revit2019参数化从入门到精通

    Revit2019参数化从入门到精通

    1.30好几个Revit参数化实例精讲(外皮、工程建筑、构造、机电、封柜、建筑幕墙、场布环境)2.数学课逻辑Revit手机软件极致融合的参数化设计风采3.6种环境详细说明(新项目环境、族环境、体

    大小:149.5 MBRevit

资源下载

相关声明:

Flume学习笔记

1小时45分钟前回答

MySQL日志设置及查看方法

MySQL有以下几种日志: 错误日志: -log-err 查询日志: -log 慢查询日志: -log-slow-queries 更新日志: -log-update 二进制日志: -log-bin 默认情况下,所有日志创建于mysqld数据目录中。通过刷新日志,你可以强制 mysqld来关闭和重新打开日志文件(或者在某些情况下切换到一个新的日志)。当你执行一个FLUSH LOGS语句或执行mysqladmin flush-logs或mysqladmin refresh时,出现日志刷新 1. 错误日志 用--lo……

17小时46分钟前回答

Spring Boot系列教程之日志配置

前言 日志,通常不会在需求阶段作为一个功能单独提出来,也不会在产品方案中看到它的细节。但是,这丝毫不影响它在任何一个系统中的重要的地位。 为了保证服务的高可用,发现问题一定要即使,解决问题一定要迅速,所以生产环境一旦出现问题,预警系统就会通过邮件、短信甚至电话的方式实施多维轰炸模式,确保相关负责人不错过每一个可能的bug。 预警系统判断疑似……

14小时28分钟前回答

关于Java日志组件间关系的知识点分析

一、 总览 本文章不对日志组件进行优劣评价,只是对关系进行对比。在日志中组件中存在这样的几种关系, 这几种关系理解清楚, 有助于我们对日志的引入和使用。 二、 日志门面 日志门面就是指直接引入我们程序中进行记录日志的日志组件,作为日志门面的这些组件会在程序中直接依赖, 上图中就列举的几种常见的日志门面的组件。像一些软件直接回默认使用一些组件,……

18小时8分钟前回答

python包和logging日志的相关介绍

python包和logging日志 一、包 包:文件夹下具有__init__.py文件就是一个包,包用来管理多个模块 包的结构如下: bake ├── __init__.py ├── api ├── __init__.py ├── policy.py └── versions.py ├── cmd ├── __init__.py └── manage.py └── db ├── __init__.py └── models.py 在bake的同级创建一个test.py导入policy.py: import bake.api.policybake.api.policy.get()#导入的名字太长了,可以起别名……

2小时44分钟前回答

实例分析Laravel框架实现记录SQL日志功能

本文实例讲述了Laravel框架实现的记录SQL日志功能。分享给大家供大家参考,具体如下: 在项目开发过程中或者是性能优化中,经常会有要查看执行sql的情况,然而Laravel日志默认不记录执行sql。好在留有相关接口,我们可以很方便的就是想SQl日志功能。 在 App\Providers\EventServiceProvider:class 中的$listen中新增如下 protected $listen = [ App\Events\Event = [ App\Listeners\EventListener, ], // 新增SqlListe……