实战Elasticsearch、Logstash、Kibana

给大家带来的一篇关于分布式大数据相关的电子书资源，介绍了关于Elasticsearch、Logstash、Kibana方面的内容，本书是由清华大学出版社出版，格式为PDF，资源大小53.9 MB，高凯编写，目前豆瓣、亚马逊、当当、京东等电子书综合评分为：7.4。

内容介绍

《实战Elasticsearch、Logstash、Kibana》对大数据的检索与挖掘，在现如今互联网时代是很必须的。这书明确提出的分布式大数据检索与日志挖掘及数据可视化解决方法是根据Elasticsearch、Logstash和Kibana而产生的，它能有效用对海量大数据所产生的分布式储存与解决、全文检索、日志挖掘、数据可视化等的挑戰。搭建在全文检索开源项目Lucene以上的Elasticsearch，不但能对海量经营规模的数据信息进行分布式数据库索引与查找，还能给出的数据汇聚剖析；Logstash能合理解决来自各种各样不一样数据库的日志信息内容；Kibana能得到大数据可视化結果。这书解读相关Elasticsearch、Logstash、Kibana的应用，相关内容以模块化设计的方法开展机构，重视实战演练，注重实践活动，內容新奇，机构有效。

目录

• 2015年5月第1章概述
• 1.1Elasticsearch的安装与简单配置
• 1.2走近Elasticsearch
• 1.2.1Elasticsearch是什么
• 1.2.2Elasticsearch中涉及到的相关概念
• 1.2.3Elasticsearch API的简单使用方式
• 1.2.4Elasticsearch RTF版本中的部分插件简介
• 1.2.5Elasticsearch 基本架构
• 1.3Elasticsearch索引及其构建
• 1.3.1概述
• 1.3.2借助Head工具构建索引
• 1.3.3Mapping简述
• 1.4信息检索及其构建
• 1.5实例
• 1.6扩展知识与阅读
• 1.7本章小结
• 第2章文档索引及管理
• 2.1文档索引概述
• 2.2建立索引
• 2.3通过映像Mapping配置索引
• 2.3.1在索引中使用映像
• 2.3.2管理/配置映像
• 2.3.3获取映像信息
• 2.3.4删除映像
• 2.4管理索引文件
• 2.4.1打开、关闭、检测、删除索引文件
• 2.4.2清空索引缓存
• 2.4.3刷新索引数据
• [1][2][1][3]2.4.4优化索引数据
• 2.4.5Flush操作
• 2.5设置中文分词器
• 2.6对文档的其他操作
• 2.6.1获取指定的文档信息
• 2.6.2删除文档中的信息
• 2.6.3数据更新
• 2.6.4基于POST方式批量获取文档
• 2.6.5删除部分文档
• 2.7扩展知识与阅读
• 2.8本章小结
• 第3章信息检索与结果过滤
• 3.1实验数据集描述
• 3.2简单检索
• 3.3基本检索
• 3.3.1设置不同字段的排序权重
• 3.3.2指定返回的字段子集
• 3.3.3Term查询、Terms查询、Wildcard通配符查询
• 3.3.4Match、Match_all、Match_phrase查询
• 3.3.5Query_string查询
• 3.3.6Prefix、Range查询
• 3.3.7More_like_this、Fuzzy_like_this查询
• 3.3.8跨字段检索
• 3.4Filter概述
• 3.5常用Filter及其应用
• 3.5.1And Filter及Or Filter
• 3.5.2Bool Filter
• 3.5.3Exists Filter和Missing Filter
• 3.5.4Type Filter
• 3.5.5Match_all Filter
• 3.5.6Not Filter
• 3.5.7Query Filter
• 3.6复合查询
• 3.7结果排序
• 3.8扩展知识与阅读
• 3.9本章小结
• 第4章信息统计分析与搜索提示
• 4.1Facets概述
• 4.2各种不同的Facets统计
• 4.2.1Terms Facets: 指定字段的分布情况统计
• 4.2.2Range Facets: 在某个范围的分布情况统计
• 4.2.3Histogram Facets
• 4.2.4Date_histogram Facets
• 4.2.5Statistical Facets
• 4.2.6Terms_stats Facets
• 4.3Aggregations
• 4.3.1概述
• 4.3.2最值、求和、均值统计
• 4.3.3Stats Aggregations及Extended Stats Aggregations
• 4.3.4Terms Aggregations
• 4.3.5Range Aggregations
• 4.3.6Date_range Aggregations
• 4.3.7Histogram Aggregations
• 4.3.8Date_histogram Aggregations
• 4.3.9Filter Aggregations
• 4.3.10Missing Aggregations
• 4.4搜索提示
• 4.5扩展知识与阅读
• 4.6本章小结
• 第5章Elasticsearch部分功能的Java客户端实现
• 5.1Elasticsearch节点实例化
• 5.1.1通过Maven添加对Elasticsearch依赖
• 5.1.2初始化Elasticsearch Client
• 5.2索引数据
• 5.2.1准备JSON数据
• 5.2.2索引JSON数据
• 5.3对索引文档的操作
• 5.3.1获取索引文档
• 5.3.2删除索引文档
• 5.3.3更新索引文档
• 5.3.4批量操作索引文件
• 5.3.5简单的统计操作
• 5.4信息检索
• 5.4.1概述
• 5.4.2MultiSearch
• 5.4.3Query DSL概述
• 5.4.4MatchQuery
• 5.4.5MatchAllQuery
• 5.4.6MultiMatchQuery
• 5.4.7BoolQuery
• 5.4.8TermQuery
• 5.4.9WildcardQuery
• 5.4.10QueryString
• 5.4.11MoreLikeThis
• 5.4.12Filter概述
• 5.4.13TermFilter
• 5.4.14ExistsFilter
• 5.4.15MatchAllFilter
• 5.4.16QueryFilter
• 5.4.17RangeFilter
• 5.4.18TypeFilter
• 5.4.19过滤器间的组合: BoolFilter、NotFilter、OrFilter、AndFilter
• 5.5统计分析
• 5.5.1Facets
• 5.5.2Aggregations
• 5.6对检索结果的进一步处理
• 5.6.1控制每页的显示数量及显示排序依据
• 5.6.2基于Scroll方法的检索结果及其分页
• 5.6.3高亮显示检索词
• 5.7扩展知识与阅读
• 5.8本章小结
• 第6章Elasticsearch配置与集群管理
• 6.1Elasticsearch部分基本配置及其说明
• 6.2提高索引和查询效率的策略
• 6.3监控集群状态
• 6.4控制索引分片与副本分配
• 6.5扩展知识与阅读
• 6.6本章小结
• 第7章基于Logstash的日志处理
• 7.1概述
• 7.2Input: 处理输入的日志数据
• 7.2.1处理基于File方式输入的日志信息
• 7.2.2处理基于Generator产生的日志信息
• 7.2.3处理基于Log4j的日志信息
• 7.2.4处理基于Redis的日志信息
• 7.2.5处理基于Stdin方式输入的信息
• 7.2.6处理基于TCP传输的日志数据
• 7.2.7处理基于UDP传输的日志数据
• 7.3Codecs: 格式化日志数据
• 7.3.1JSON格式
• 7.3.2Rubydebug格式
• 7.3.3Plain格式
• 7.4基于Filter的日志处理与转换
• 7.4.1JSON Filter
• 7.4.2Grok Filter
• 7.4.3Kv Filter
• 7.5Output: 处理输出的日志数据
• 7.5.1将处理后的日志输出到Elasticsearch中
• 7.5.2将处理后的日志输出至文件中
• 7.5.3将处理后的部分日志输出到csv格式的文件中
• 7.5.4将处理后的日志输出到redis中
• 7.5.5将处理后的部分日志通过UDP协议输出
• 7.5.6将处理后的部分日志通过TCP协议输出
• 7.5.7将收集到的日志信息传输到自定义的HTTP接口中
• 7.6扩展知识与阅读
• 7.7本章小结
• 第8章基于Kibana的数据分析可视化
• 8.1安装Kibana
• 8.2Kibana概述
• 8.2.1在仪表盘上添加新行
• 8.2.2在行中添加新面板
• 8.2.3设置Query和Filtering
• 8.3常用面板类型
• 8.3.1Histogram
• 8.3.2Table
• 8.3.3Map和Bettermap
• 8.3.4Terms
• 8.3.5Text
• 8.3.6Sparklines
• 8.3.7Trends
• 8.4网站性能监控可视化应用的设计与实现
• 8.4.1概述
• 8.4.2Page View
• 8.4.3响应/请求时间
• 8.4.4流量走势与统计
• 8.4.5状态码监控
• 8.4.6UA行
• 8.5Kibana V4简介
• 8.5.1新建视图
• 8.5.2建立Dashboard
• 8.5.3配置
• 8.6扩展知识与阅读
• 8.7本章小结
• 第9章网络信息检索与分析实践
• 9.1信息采集
• 9.2基于Python的信息检索及Web端设计
• 9.2.1安装Python及Django
• 9.2.2安装Elasticsearch的Python插件
• 9.2.3Web页面设计
• 9.3基于Logstash的日志处理
• 9.3.1安装和配置Nginx
• 9.3.2设计面向日志文件的Pattern
• 9.3.3在Logstash中进行相关配置
• 9.4基于Kibana的日志分析结果可视化设计与实现
• 9.4.1图表1: 状态码走势分析
• 9.4.2图表2: 查询词分析
• 9.4.3图表3: 分析各状态码随时间的变迁情况
• 9.4.4集成上述图表
• 9.5扩展知识与阅读
• 9.6本章小结
• 参考文献

学习笔记

SpringCloud分布式链路跟踪的方法

注：作者使用IDEA + Gradle 注：需要有一定的java SpringBoot and SSM+Springcloud基础 程序测试错误追责 我举个例子，我现在要做一个电商项目，项目里面有一个购买模块，那我这边可能要执行一个代码，比如减库存之类的东西，那我两个服务不就是要相互调用嘛，我自身是一个服务，我现在要调用减库存这个服务； 你调用它，你知道它一定能执行成功吗？肯定是不一定； 比如说，我现在要执行一个减库存的代码，我调用这个方法会进行库存的一个更改，这个库存减少成功还好，万一要是失败就会出现一个问题就是，做前端的来调用你，但是你出错了，这时你也不知道你这个减库存到底有没有执行成功，两个人……

Spring Cloud Config实现分布式配置中心

在分布式系统中，配置文件散落在每个项目中，难于集中管理，抑或修改了配置需要重启才能生效。下面我们使用 Spring Cloud Config 来解决这个痛点。 Config Server 我们把 config-server 作为 Config Server，只需要加入依赖： dependency groupIdorg.springframework.cloud/groupId artifactIdspring-cloud-config-server/artifactId/dependency 在 application.yml 中，进行配置： spring: application: name: config-server # 名称 cloud: config: server: git: uri: file://Users/yangdd/Documents/code/GitHub/config-repo # 使用本地仓库（用于测试），格式为：file://${user.home}/config-repo 如果是 Windows 则是 file:///${user.home}/config-repo #uri: https://github.com/yangdd1205/spring-cloud-master/ #username: 用户名 #passwo……

详解spring cloud分布式整合zipkin的链路跟踪

为什么使用zipkin？ 上篇主要写了：spring cloud分布式日志链路跟踪 从上篇中可以看出服务之间的调用，假设现在有十几台服务，那么在查找日志的时候比较繁琐、复杂，而且在查看调用的时候也会像蜘蛛网一样，量太大。 这时候zipkin可以把链路调用整个过程给升级起来，只需要到一个地方去查找，就可以知道哪一步出错。 zipkin也分为服务器和客户端，服务器就是zipkin，微服务就是客户端。 首先，建立服务器zipkin 在此服务build.gradle加上zipkin的依赖： compile 'io.zipkin.java:zipkin-server' compile 'io.zipkin.java:zipkin-autoconfigure-ui' 这里可以看到它不是属于spring中的 在application.yml配置中： server: port: 9999spring: application……

spring boot整合redis实现shiro的分布式session共享的方法

我们知道，shiro是通过SessionManager来管理Session的，而对于Session的操作则是通过SessionDao来实现的，默认的情况下，shiro实现了两种SessionDao，分别为CachingSessionDAO和MemorySessionDAO，当我们使用EhCache缓存时，则是使用的CachingSessionDAO，不适用缓存的情况下，就会选择基于内存的SessionDao.所以，如果我们想实现基于Redis的分布式Session共享，重点在于重写SessionManager中的SessionDao。我们的重写代码如下： package com.chhliu.springboot.shiro.cache; import java.io.Serializable; import java.util.Collection; import java.util.concurrent.TimeUnit; import org.apache.shiro.session.Session; import org.apache.shiro.session.UnknownSessionException; import org.apache.shiro.session.mgt.eis.Abstra……

Spring+redis对session的分布式管理方法

在Spring中实现分布式 session管理 本文主要是在Spring中实现分布式session，采用redis对session进行持久化管理，这样当应用部署的时候，不需要在Resin、Tomcat等容器里面进行分布式配置，方便加入新的节点服务器进行集群扩容，session不依赖各节点的服务器，可直接从redis获取。下面是功能的核心代码： 一、首先在web.xml里面配置 加入拦截器： !-- 分布式session start -- filter filter-namedistributedSessionFilter/filter-name filter-classDistributedSessionFilter/filter-class init-param !-- 必填，密钥.2种方式,1对应为bean，格式为bean:key。2字符串,格式如:afffrfgv-- param-namekey/param-name param-valuexxxxxxxx/param-value /init-param init-param !-- 必填，redis对应的be……

以上就是本次介绍的分布式大数据电子书的全部相关内容，希望我们整理的资源能够帮助到大家，感谢大家对码农之家的支持。

上一篇：分布式实时处理系统：原理、架构与实现

下一篇：JavaScript基础教程