当前位置:首页 > 行业软件及应用 >
《Flume:构建高可用、可扩展的海量日志采集系统》电子书封面

Flume:构建高可用、可扩展的海量日志采集系统

  • 发布时间:2020年06月11日 14:42:30
  • 作者:哈里·史瑞德哈伦
  • 大小:72.9 MB
  • 类别:Flume电子书
  • 格式:PDF
  • 版本:高清版
  • 评分:9.9

    Flume:构建高可用、可扩展的海量日志采集系统 PDF 高清版

      给大家带来的一篇关于Flume相关的电子书资源,介绍了关于Flume、日志采集系统方面的内容,本书是由电子工业出版社出版,格式为PDF,资源大小72.9 MB,哈里·史瑞德哈伦编写,目前豆瓣、亚马逊、当当、京东等电子书综合评分为:9.9。

      内容介绍

      《Flume:构建高可用、可扩展的海量日志采集系统》从Flume 的基本概念和设计原理开始讲解,分别介绍了不同种类的组件、如何配置组件、如何运行Flume Agent 等。同时,分别讨论Source、Channel 和Sink 三种核心组件,不仅仅阐述每个组件的基本概念,而且结合实际的编程案例,深入、全面地介绍每个组件的详细用法,并且这部分内容也是整个Flume 框架的重中之重。之后,讲解拦截器、Channel选择器、Sink 组和Sink 处理器等内容,它们为Flume 提供灵活的扩展支持。最后,介绍了Flume 的高级使用,如何使用Flume 软件开发工具集(SDK)和Embedded Agent API,如何设计、部署和监控Flume 生产集群。

      总而言之,《Flume:构建高可用、可扩展的海量日志采集系统》是一本理论结合实战,深度、广度兼备的海量日志采集系统的著作。

      目录

      • 译者序 v
      • 序 xiii
      • 前言 x
      • 第1 章 认识Apache Hadoop 和Apache HBase 1
      • 分布式文件系统HDFS 1
      • HDFS 的数据格式 3
      • 处理HDFS 中的数据 4
      • Apache HBase 4
      • 总结 5
      • 参考文献 6
      • 第2 章 用Apache Flume 处理流数据 7
      • 我们需要Flume 7
      • Flume 是否适合呢? 9
      • Flume Agent 内部原理 10
      • 配置Flume Agent 13
      • Flume Agent 之间的相互通信 17
      • 复杂的流 17
      • 复制数据到不同目的地 20
      • 动态路由 21
      • Flume 的无数据丢失保证,Channel 和事务 22
      • Flume Channel 中的事务 23
      • Agent 失败和数据丢失 25
      • 批量的重要性 26
      • 重复怎么样? 27
      • 运行Flume Agent 27
      • 总结 29
      • 参考文献 30
      • 第3 章 源(Source) 31
      • Source 的生命周期 31
      • Sink-to-Source 通信 33
      • Avro Source 34
      • Thrift Source 37
      • RPC Sources 的失败处理 39
      • HTTP Source 40
      • 针对HTTP Source 写处理程序* 42
      • Spooling Directory Source 47
      • 使用Deserializers 读取自定义格式* 50
      • Spooling Directory Source 性能55
      • Syslog Source 55
      • Exec Source 59
      • JMS Source 61
      • 转换JMS 消息为Flume 事件* 63
      • 编写自定义Source* 65
      • Event-Driven Source 和Pollable Source 66
      • 总结 73
      • 参考文献 73
      • 第4 章 Channel 75
      • 事务工作流 76
      • Flume 自带的Channel 78
      • Memory Channel 78
      • File Channel 80
      • 总结 86
      • 参考文献 86
      • 第5 章 Sink 87
      • Sink 的生命周期 88
      • 优化Sink 的性能 89
      • 写入到HDFS :HDFS Sink 89
      • 理解Bucket 90
      • 配置HDFS Sink 93
      • 使用序列化器控制数据格式* 100
      • HBase Sink 106
      • 用序列化器将Flume 事件转换成HBase Put 和Increment* 108
      • RPC Sink 113
      • Avro Sink 113
      • Thrift Sink 115
      • Morphline Solr Sink 116
      • Elastic Search Sink 119
      • 自定义数据格式* 121
      • 其他Sink :Null Sink、Rolling File Sink 和Logger Sink 124
      • 编写自定义Sink* 125
      • 总结 129
      • 参考文献 129
      • 第6 章 拦截器、Channel 选择器、Sink 组和
      • Sink 处理器 131
      • 拦截器 131
      • 时间戳拦截器 132
      • 主机拦截器 133
      • 静态拦截器 133
      • 正则过滤拦截器 134
      • Morphline 拦截器 135
      • UUID 拦截器 136
      • 编写拦截器* 137
      • Channel 选择器 140
      • 复制Channel 选择器 140
      • 多路复用Channel 选择器 141
      • 自定义Channel 选择器* 144
      • Sink 组和Sink 处理器 146
      • Load-Balancing Sink 处理器 148
      • Failover Sink 处理器 151
      • 总结 153
      • 参考文献 154
      • 第7 章 发送数据到Flume* 155
      • 构建Flume 事件 155
      • Flume 客户端SDK 156
      • 创建Flume RPC 客户端 157
      • RPC 客户端接口 157
      • 所有RPC 客户端的公共配置参数 158
      • 默认RPC 客户端 165
      • Load-Balancing RPC 客户端 168
      • Failover RPC 客户端 171
      • Thrift RPC 客户端 172
      • 嵌入式Agent 173
      • 配置嵌入式Agent 175
      • log4j Appender 180
      • Load-Balancing log4j Appender 181
      • 总结 182
      • 参考文献 183
      • 第8 章 规划、部署和监控Flume 185
      • 规划一个Flume 部署 185
      • 修复时间 185
      • 我的Flume Channel 需要多少容量? 186
      • 多少层? 186
      • 通过跨数据中心链接发送数据 188
      • 层分片 190
      • 部署Flume 191
      • 部署自定义代码 191
      • 监控Flume 193
      • 从自定义组件报告度量 196
      • 总结 196
      • 参考文献 196
      • 索引 197

      学习笔记

      MySQL日志设置及查看方法

      MySQL有以下几种日志: 错误日志: -log-err 查询日志: -log 慢查询日志: -log-slow-queries 更新日志: -log-update 二进制日志: -log-bin 默认情况下,所有日志创建于mysqld数据目录中。通过刷新日志,你可以强制 mysqld来关闭和重新打开日志文件(或者在某些情况下切换到一个新的日志)。当你执行一个FLUSH LOGS语句或执行mysqladmin flush-logs或mysqladmin refresh时,出现日志刷新 1. 错误日志 用--log- error[=file_name]选项来指定mysqld保存错误日志文件的位置。如果没有给定file_name值,mysqld使用错误日志名 host_name.err 并在数据目录中写入日志文件。如果你执行FLUSH LOGS,错误日志用-old重新命名后缀并且mysqld创建一个新的空日志文件……

      Spring Boot系列教程之日志配置

      前言 日志,通常不会在需求阶段作为一个功能单独提出来,也不会在产品方案中看到它的细节。但是,这丝毫不影响它在任何一个系统中的重要的地位。 为了保证服务的高可用,发现问题一定要即使,解决问题一定要迅速,所以生产环境一旦出现问题,预警系统就会通过邮件、短信甚至电话的方式实施多维轰炸模式,确保相关负责人不错过每一个可能的bug。 预警系统判断疑似bug大部分源于日志。比如某个微服务接口由于各种原因导致频繁调用出错,此时调用端会捕获这样的异常并打印ERROR级别的日志,当该错误日志达到一定次数出现的时候,就会触发报警。 try {调用某服务} catch(Exception e) {LOG.error("错……

      Java日志组件间关系详解

      一、 总览 本文章不对日志组件进行优劣评价,只是对关系进行对比。在日志中组件中存在这样的几种关系, 这几种关系理解清楚, 有助于我们对日志的引入和使用。 二、 日志门面 日志门面就是指直接引入我们程序中进行记录日志的日志组件,作为日志门面的这些组件会在程序中直接依赖, 上图中就列举的几种常见的日志门面的组件。像一些软件直接回默认使用一些组件, 比如Spring使用的就是commons-logging, activiti使用的日志门面就是slf4j, 其他的软件也都会选用自己认为好用的日志门面。 三、 日志实现 除了log4j既是门面又是实现之外, commons-logging和slf4j 都是能直接打印日志的, 都需要依赖一个日志……

      python包和logging日志的相关介绍

      python包和logging日志 一、包 包:文件夹下具有__init__.py文件就是一个包,包用来管理多个模块 包的结构如下: bake ├── __init__.py ├── api ├── __init__.py ├── policy.py └── versions.py ├── cmd ├── __init__.py └── manage.py └── db ├── __init__.py └── models.py 在bake的同级创建一个test.py导入policy.py: import bake.api.policybake.api.policy.get()#导入的名字太长了,可以起别名import bake.api.policy as pp.get()#from 导入在__init__.py修改from . import policy#我们需要在policy文件中向sys.path添加了当前的路径import osimport syssys.path.insert(os.path.dirname(__file__))#print(__file__)查看一下#使用__all__,在__init__.py中__all__ = [policy]#或from……

      实例分析Laravel框架实现记录SQL日志功能

      本文实例讲述了Laravel框架实现的记录SQL日志功能。分享给大家供大家参考,具体如下: 在项目开发过程中或者是性能优化中,经常会有要查看执行sql的情况,然而Laravel日志默认不记录执行sql。好在留有相关接口,我们可以很方便的就是想SQl日志功能。 在 App\Providers\EventServiceProvider:class 中的$listen中新增如下 protected $listen = [ App\Events\Event = [ App\Listeners\EventListener, ], // 新增SqlListener监听QueryExecuted Illuminate\Database\Events\QueryExecuted = [ App\Listeners\SqlListener, ],]; 新建SqlListener监听器 方法1 ,手动创建,在 App\Listeners\SqlListener.php 文件,内容如下 namespace App\Listeners;use Illuminate\Database\Events\QueryExecuted;class SqlListener { /*……

      以上就是本次介绍的Flume电子书的全部相关内容,希望我们整理的资源能够帮助到大家,感谢大家对码农之家的支持。

      上一篇:从零开始做运营:进阶篇

      下一篇:从零开始做运营:入门篇

      展开 +

      收起 -

      • 《Flume:构建高可用、可扩展的海量日志采集系统》PDF下载

      下载地址:百度网盘下载
      Flume相关电子书
      MATLAB Simulink系统仿真超级学习手册
      MATLAB Simulink系统仿真超级学习手册 超清版 立即下载
      Oracle数据库系统原理
      Oracle数据库系统原理 高清版

      Oracle数据库系统原理(第2版) 包括数据库基本理论以及Oracle数据库系统知识两部分。主要包括关系模型基本理论、ER图及范式理论、安装Oracle 12c软件、SQL语言、Oracle的逻辑存储空间、索引原理

      立即下载
      Verilog数字系统设计教程
      Verilog数字系统设计教程 影印第3版

      这书叙述了运用硬件配置描述语言(VerilogHDL)设计方案繁杂数字系统软件的方式 。这类方式 源于30新世纪95时代的英国在国外取得实效后快速在别的优秀工业国获得营销推广和普及化。运用硬件

      立即下载
      大型IT系统性能测试入门经典
      大型IT系统性能测试入门经典 高清版

      大型IT系统性能测试入门经典 是一本来自性能测试实战领域的专家作品,主要用来指导性能测试人员规划、设计、实施性能测试。书中深入探讨了性能测试的基础理论与实施方法,并针对大型

      立即下载
      Android系统安全和反编译实战
      Android系统安全和反编译实战 高清版

      Android系统安全和反编译实战 内容分为 4篇,共计 22个章节,循序渐进地讲解了 Android系统安全分析和破解实战的基本知识。本书从搭建应用开发环境开始讲起,依次讲解了基础知识篇、系统安

      立即下载
      Android系统源代码情景分析
      Android系统源代码情景分析 超清第3版

      本书结合使用情景,全面、深入、细致地分析了Android系统的源代码,涉及Linux内核层、硬件抽象层、运行时库层、应用程序框架层及应用程序层

      立即下载
      数据库系统:原理、设计与编程
      数据库系统:原理、设计与编程 超清MOOC版

      1.这书出示Mooc等輔助教育资源,便捷课堂教学。 2.各章*后小标题得出一个详细新项目实践活动实例,协助阅读者系统软件了解数据库技术运用方式。处理传统式教材内容基础知识与产业链工程项目实践活动错位、工程施工流程过少的难题。 3.这书第7章详细介绍了现阶段很多运用的NoSQL数据库技术以及运用方式,如键值对数据库、列储存数据库、文本文档数据库、图型数据库等技术性专业知识。 这书从基础理论与具体运用紧密结合的视角考虑,详细介绍

      立即下载
      Android系统源代码分析
      Android系统源代码分析 高清版

      Android从诞生到现在仅有短短几年的时间,它凭借其开源开放性、优异的用户体验和极为方便的开发方式,赢得了广大用户和开发者的青睐,目前已经发展成为市场占有率位居第一的智能手机操

      立即下载
      读者留言
      高博超

      高博超 提供上传

      资源
      13
      粉丝
      37
      喜欢
      181
      评论
      9

      Copyright 2018-2020 www.xz577.com 码农之家

      投诉 / 推广 / 赞助:QQ:520161757