ELK日志剖析体系简介

ELK渠道是一套完好的日志会集处理解决计划，将 ElasticSearch、Logstash 和 Kiabana 三个开源东西配合运用，完成更强壮的用户对日志的查询、排序、核算需求。

ElasticSearch

是依据Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。 Elasticsearch 是用 Java 开发的，可经过 RESTful Web 接口，让用户能够经过浏览器与 Elasticsearch 通信。 Elasticsearch是一个实时的、分布式的可扩展的查找引擎，答应进行全文、结构化查找，它一般用于索引和查找大容量的日志数据，也可用于查找许多不同类型的文档。

Kiabana

Kibana 一般与 Elasticsearch 一起布置，Kibana 是 Elasticsearch 的一个功用强壮的数据可视化 Dashboard，Kibana 供给图形化的 web 界面来浏览 Elasticsearch 日志数据，能够用来汇总、剖析和查找重要数据。

Logstash

作为数据搜集引擎。它支撑动态的从各种数据源搜集数据，并对数据进行过滤、剖析、丰富、一致格局等操作，然后存储到用户指定的方位,一般会发送给 Elasticsearch。 Logstash 由 Ruby 语言编写，运转在 Java 虚拟机（JVM）上，是一款强壮的数据处理东西，能够完成数据传输、格局处理、格局化输出。Logstash 具有强壮的插件功用，常用于日志处理。

能够增加的其它组件

Filebeat

轻量级的开源日志文件数据搜集器。一般在需求采集数据的客户端装置 Filebeat，并指定目录与日志格局，Filebeat 就能快速搜集数据，并发送给 logstash 或是直接发给 Elasticsearch 存储，功用上比较运转于 JVM 上的 logstash 优势明显，是对它的代替。常运用于 EFLK 架构傍边。

filebeat 结合 logstash 带来优点

- 经过 Logstash 具有依据磁盘的自适应缓冲体系，该体系将吸收传入的吞吐量，然后减轻 Elasticsearch 继续写入数据的压力 
- 从其他数据源（例如数据库，S3对象存储或消息传递行列）中提取 
- 将数据发送到多个目的地，例如S3，HDFS（Hadoop分布式文件体系）或写入文件 
- 运用条件数据流逻辑组成更复杂的处理管道

缓存/消息行列（redis、kafka、RabbitMQ等）

能够对高并发日志数据进行流量削峰和缓冲，这样的缓冲能够一定程度的维护数据不丢掉，还能够对整个架构进行运用解耦。

Fluentd

是一个盛行的开源数据搜集器。由于 logstash 太重量级的缺陷，Logstash 功用低、资源耗费比较多等问题，随后就有 Fluentd 的出现。比较较 logstash，Fluentd 更易用、资源耗费更少、功用更高，在数据处理上更高效牢靠，遭到企业欢迎，成为 logstash 的一种代替计划，常运用于 EFK 架构傍边。在 Kubernetes 集群中也常运用 EFK 作为日志数据搜集的计划。在 Kubernetes 集群中一般是经过 DaemonSet 来运转 Fluentd，以便它在每个 Kubernetes 工作节点上都能够运转一个 Pod。它经过获取容器日志文件、过滤和转化日志数据，然后将数据传递到 Elasticsearch 集群，在该集群中对其进行索引和存储。

为什么要运用 ELK

日志首要包含体系日志、运用程序日志和安全日志

体系运维和开发人员能够经过日志了解服务器软硬件信息、检查装备过程中的过错及过错产生的原因。经常剖析日志能够了解服务器的负荷，功用安全性，然后及时采取办法纠正过错。

往往单台机器的日志咱们运用grep、awk等东西就能基本完成简略剖析，可是当日志被分散的储存不同的设备上。假如你办理数十上百台服务器，你还在运用顺次登录每台机器的传统办法查阅日志。这样是不是感觉很繁琐和功率低下。燃眉之急咱们运用会集化的日志办理，例如：开源的syslog，将一切服务器上的日志搜集汇总。会集化办理日志后，日志的核算和检索又成为一件比较费事的工作，一般咱们运用 grep、awk和wc等Linux指令能完成检索和核算，可是对于要求更高的查询、排序和核算等要求和巨大的机器数量仍然运用这样的办法不免有点无能为力。

一般大型体系是一个分布式布置的架构，不同的服务模块布置在不同的服务器上，问题出现时，大部分状况需求依据问题暴露的要害信息，定位到具体的服务器和服务模块，构建一套会集式日志体系，能够进步定位问题的功率。

完好日志体系基本特征

搜集：能够采集多种来历的日志数据
传输：能够稳定的把日志数据解析过滤并传输到存储体系
存储：存储日志数据
剖析：支撑 UI 剖析
正告：能够供给过错报告，监控机制

ELK 的工作原理

在一切需求搜集日志的服务器上布置Logstash；或者先将日志进行会集化办理在日志服务器上，在日志服务器上布置 Logstash。
Logstash 搜集日志，将日志格局化并输出到 Elasticsearch 群会集。
Elasticsearch 对格局化后的数据进行索引和存储。
Kibana 从 ES 群会集查询数据生成图表，并进行前端数据的展现。

总结：logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格局化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理。

Elasticsearch的介绍

Elasticsearch是一个依据Lucene的查找服务器。它供给了一个分布式多用户能力的全文查找引擎，依据RESTful web接口。Elasticsearch是用Java开发的，并作为Apache答应条款下的开放源码发布，是第二盛行的企业查找引擎。规划用于云核算中能够达到实时查找，稳定，牢靠，快速，装置运用方便。

lasticsearch的核心概念

1、挨近实时（NRT）

Elasticsearch是一个挨近实时的查找渠道，这意味着，从索引一个文档直到这个文档能够被查找到有一个轻微的推迟（一般是1秒)

2、集群（cluster）

一个集群便是由一个或多个节点组织在一起，它们一起持有你整个的数据，并一起供给索引和查找功用。其间一个节点为主节点，这个主节点是能够经过选举产生的，并供给跨节点的联合索引和查找的功用。集群有一个唯一性标示的姓名，默许是elasticsearch，集群姓名很重要，每个节点是依据集群姓名参加到其集群中的。因此，确保在不同环境中运用不同的集群姓名。

一个集群能够只要一个节点。强烈主张在装备elasticsearch时，装备成集群形式。

3、节点（node）

节点便是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和查找功用。像集群相同，节点也是经过姓名来标识的，默许是在节点发动时随机分配的字符名。当然，也能够自界说。该姓名也是很重要，在集群中用于辨认服务器对应的节点。

节点能够经过指定集群姓名来参加到集群中。默许状况，每个节点被设置成参加到elasticsearch集群。假如发动了多个节点，假设能自动发现对方，他们将会自动组建一个名为elasticsearch的集群。

4、索引（index）

一个索引便是一个拥有几分相似特征的文档的调集，一个索引由一个姓名来标识(有必要全部是小写字母的)，而且当咱们要对对应于这个索引中的文档进行索引、查找、更新和删去的时分，都要运用到这个姓名。

5、类型（type）

在一个索引中，你能够界说一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区；一般，会为具有一组一起字段的文档界说一个类型。

6、文档（document）

文档以JSON ( Javascript object Notation)格局来表明，而JSON是一个到处存在的互联网数据交互格局。尽管一个文档在物理上坐落一个索引中，实践上一个文档有必要在一个索引内被索引和分配一个类型。

7、分片和副本（shards&replicas）

即es作为查找引擎快的原因：在实践状况下，索引存储的数据或许超越单个节点的硬件约束。如一个10亿文档需1TB空间或许不适合存储在单个节点的磁盘上，或者从单个节点查找恳求太慢了。为了解决这个问题，elasticsearch供给将索引分成多个分片的功用。当在创立索引时，能够界说想要分片的数量。每一个分片便是一个全功用的独立的索引，能够坐落集群中任何节点上。

- 分片的优点：
-  ①水平切割扩展，增大存储量
-  ②分布式并行跨分片操作，进步功用和吞吐量

为了防止网络问题等其它问题形成数据丢掉，需求有一个毛病切换机制，为此，elasticsearch让咱们将索引分片仿制一份或多份，称之为分片副本或副本。

- 副本也有两个最首要原因:
- ①高可用性，以应对分片或者节点毛病，需求在不同的节点上
- ②进步功用， 增大吞吐量，查找能够并行在一切副本上履行

总之，每个索引能够被分成多个分片。一个索引也能够被仿制0次( 意思是没有仿制)或屡次。一旦仿制了，每个索引就有了主分片(作为仿制源的本来的分片)和仿制分片(主分片的复制)之别。分片和副本的数量能够在索引创立的时分指定。在索引创立之后，你能够在任何时分动态地改动副本的数量，可是你事后不能改动分片的数量。

Logstash介绍

Logstash由JRuby语言编写，依据消息(message-based) 的简略架构，并运转在Java虚拟机(JVM)上。LogStash可装备单一的署理端(agent) 与其它开源软件结合，以完成不同的功用。

Logstash的理念很简略，它只做3件工作:

input 数据采集
filter 数据过滤
output 数据输出

logStash的首要组件

Shipper(日志搜集者)：担任监控本地日志文件的变化，及时把日志文件的最新内容搜集起来。一般，远程署理端(agent)只需求运转这个组件即可。
Indexer(日志存储者)：担任接纳日志并写入到本地文件。
Broker(日志Hub)：担任衔接多个Shipper和多个Indexer。
Search and Storage(查找和存储器)：答应对工作进行查找和存储。
Web Interface(web界面端)：依据Web的展现界面。

LogStash主机分类

署理主机(agent host) ：作为工作的传递者(shipper)，将各种日志数据发送至中心主机，只需运转Logstash署理( agent)。
程序中心主机(central host) ：可运转包含中心转发器(Broker) 、索引器(Indexer) 、查找和存储器( Search and Storage )、web界面端(web Interface)在内的各个组件，以完成对日志数据的接纳、处理和存储。

Kibana介绍

Kibana是一个针对Elasticsearch的开源剖析及可视化渠道，用来查找、检查交互存储在Elasticsearch索引中的数据。运用Kibana，能够经过各种图表进行高档数据剖析及展现。

它操作简略，依据浏览器的用户界面能够快速创立仪表板( dashboard)实时显现Elasticsearch查询动态。设置Kibana十分简略,无需编写代码，几分钟内就能够完成Kibana装置并发动Elasticsearch索引监测。

kibana的首要功用

Elasticsearch无缝之集成。Kibana架构为Elasticsearch定制，能够将任何结构化和非结构化数据参加Elasticsearch索引，Kibana还充分利用了Elasticsearch强壮的查找和剖析功用。
整合你的数据。Kibana能够更好地处理海量数据，并据此创立柱形图、折线图、散点图、直方图、饼图和地图。
复杂数据剖析。Kibana提升了Elasticsearch剖析能力，能够更加智能地剖析数据，履行数学转化而且依据要求对数据切割分块。
让更多团队成员获益。强壮的数据库可视化接口让各业务岗位都能够从数据调集获益。
接口灵敏，共享更容易。运用Kibana能够更加方便地创立、保存、共享数据，并将可视化数据快速沟通。
装备简略。Kibana的装备和启用十分简略，用户体验十分友爱。Kibana自带Web服务器，能够快速发动运转。
可视化多数据源。Kibana能够十分方便地把来自Logstash、 ES-Hadoop、 Beats或第三方技能的数据整合到Elasticsearch，支撑的第三方技能包含Apache Flume、 Fluentd等。
简略数据导出。Kibana能够方便地导出感兴趣的数据，与其它数据调集并交融后快速建模剖析，发现新结果。

ELK集群布置

实验环境：

Node1节点：node1/192.168.1.11 Elasticsearch Kibana

Node2节点：node2/192.168.1.12 Elasticsearch

apache节点：apache/192.168.1.15 Logstash Apache

Node1、Node2节点的布置

#封闭防火墙
systemctl stop firewalld 
setenforce 0
#更改主机名
Node1节点：hostnamectl set-hostname node1 
Node2节点：hostnamectl set-hostname node2
#装备域名解析
vim /etc/hosts 
192.168.1.11 node1 
192.168.1.12 node2
#检查Java环境
java -version 
openjdk version "1.8.0_131" 
OpenJDK Runtime Environment (build 1.8.0_131-b12) 
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
#假如没有装置，yum -y install java 
#生产环境中主张运用jdk

#两台node节点布置 Elasticsearch 软件
#装置elasticsearch—rpm包 
#上传elasticsearch-5.5.0.rpm到/opt目录下 
cd /opt 
rpm -ivh elasticsearch-5.5.0.rpm
#加载体系服务 
systemctl daemon-reload 
systemctl enable elasticsearch.service

 #先备份elasticsearch主装备文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak 
#修正elasticsearch主装备文件
vim /etc/elasticsearch/elasticsearch.yml 
--17--撤销注释，指定集群姓名 
cluster.name: my-elk-cluster 
--23--撤销注释，指定节点姓名：Node1节点为node1，Node2节点为node2
node.name: node1 
--33--撤销注释，指定数据寄存路径 
path.data: /data/elk_data 
--37--撤销注释，指定日志寄存路径 
path.logs: /var/log/elasticsearch/ 
--43--撤销注释，改为在发动的时分不锁定内存 
bootstrap.memory_lock: false 
--55--撤销注释，设置监听地址，0.0.0.0代表一切地址 
network.host: 0.0.0.0 
--59--撤销注释，ES 服务的默许监听端口为9200 
http.port: 9200 
--68--撤销注释，集群发现经过单播完成，指定要发现的节点
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
grep -v "^#" /etc/elasticsearch/elasticsearch.yml
#过滤装备文件中以#号开头的行

#运用scp发送elastisearch.yml装备文件到node2服务器上，这里仅仅为了偷懒
 scp /etc/elasticsearch/elasticsearch.yml 192.168.1.12:`pwd`
#修正node2主机elastisearch.yml装备文件
--23--撤销注释，指定节点姓名：
node.name: node2
grep -v "^#" /etc/elasticsearch/elasticsearch.yml
#过滤装备文件中以#号开头的行

#创立数据寄存路径并授权 
mkdir -p /data/elk_data 
chown elasticsearch:elasticsearch /data/elk_data/
#发动elasticsearch是否成功敞开 
systemctl start elasticsearch.service
systemctl enable --now elasticsearch.service
netstat -antp | grep 9200

检查节点 Node1的信息
浏览器检查：http://192.168.1.11:9200

http://192.168.1.11:9200/_cluster/health?pretty
#检查群集的健康状况，能够看到 status 值为 green（绿色）， 表明节点健康运转

检查节点Node2的信息
浏览器检查：http://192.168.1.12：9200和http://192.168.1.12:9200/_cluster/health?pretty

运用以上方法检查状况并不友爱，能够经过 elasticsearch-head插件来直接办理

装置 Elasticsearch-head 插件

由于es服务发动之后，拜访界面比较丑恶，为了更好的检查索引库傍边的信息，咱们能够经过装置elasticsearch-head这个插件来完成，这个插件能够更方便快捷的看到es的办理界面。

Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需求作为独立服务进行装置，需求运用npm东西（NodeJS的包办理东西）装置。

装置 Elasticsearch-head 需求提早装置好依赖软件 node 和 phantomjs。 node：是一个依据 Chrome V8 引擎的 JavaScript 运转环境。 phantomjs：是一个依据 webkit 的JavaScriptAPI，能够理解为一个隐形的浏览器，任何依据 webkit 浏览器做的工作，它都能够做到。

#编译装置 node（在node1节点）
#上传软件包 node-v8.2.1.tar.gz 到/opt 
yum install gcc gcc-c++ make -y
#装置东西包
cd /opt 
tar xf node-v8.2.1.tar.gz
#解压
cd node-v8.2.1/ 
./configure 
make && make install
#编译装置，时间有点久，耐性等候

#装置 phantomjs（node1）
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

#装置 Elasticsearch-head 数据可视化东西 
#上传软件包 elasticsearch-head.tar.gz 到/opt 
cd /opt 
tar xf elasticsearch-head.tar.gz -C /usr/local/src/ 
cd /usr/local/src/elasticsearch-head/ 
npm install

#修正 Elasticsearch 主装备文件 
vim /etc/elasticsearch/elasticsearch.yml 
...... 
--末尾增加以下内容-- 
http.cors.enabled: true             #敞开跨域拜访支撑，默许为 false 
http.cors.allow-origin: "*"         #指定跨域拜访答应的域名地址为一切
systemctl restart elasticsearch

#修正Gruntfile.js装备文件和app.js装备文件
vim /usr/local/src/elasticsearch-head/Gruntfile.js
#93行修正
hostname:'192.168.1.11'；
vim /usr/local/src/elasticsearch-head/_site/app.js
#4354行修正
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.1.11:9200";

#发动 elasticsearch-head 服务 
#有必要在解压后的 elasticsearch-head 目录下发动服务，进程会读取该目录下的 gruntfile.js 文件，不然或许发动失利。 
cd /usr/local/src/elasticsearch-head/ 
#####以下是显现的内容#####
npm run start &
elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head 
grunt server
Running "connect:server" (connect) task 
Waiting forever... 
Started connect web server on <http://localhost:9100>
##########
#elasticsearch-head 监听的端口是 9100 
netstat -natp |grep 9100

经过 Elasticsearch-head 检查 Elasticsearch 信息 经过浏览器拜访 http://192.168.1.11:9100/ 地址并衔接群集。假如看到群集健康值为 green 绿色，代表群集很健康。

#刺进索引（node1）
#经过指令刺进一个测验索引，索引为 index-demo，类型为 test。 
curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"wangyining","mesg":"Good Morning"}'

浏览器拜访 http://192.168.1.11:9100/ 检查索引信息，能够看见索引默许被分片5个，而且有一个副本。 点击“数据浏览”，会发现在node1上创立的索引为 index-demo，类型为 test 的相关信息。

ELK Logstash 布置（在 Apache 节点上操作）

Logstash 一般布置在需求监控其日志的服务器。在本案例中，Logstash 布置在 Apache 服务器上，用于搜集 Apache 服务器的日志信息并发送到 Elasticsearch。

#更改主机名，封闭防火墙
hostnamectl set-hostname apache
systemctl stop firewalled
setenforce 0

#装置Apahce服务（httpd） 
yum -y install httpd 
systemctl start httpd

#装置Java环境 
yum -y install java 
java -version

#装置logstash 
#上传软件包 logstash-5.5.1.rpm 到/opt目录下 
cd /opt 
rpm -ivh logstash-5.5.1.rpm 
systemctl start logstash.service 
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

Logstash 指令常用选项

-f：经过这个选项能够指定 Logstash 的装备文件，依据装备文件装备 Logstash 的输入和输出流。
-e：从指令行中获取，输入、输出后边跟着字符串，
该字符串能够被当作 Logstash 的装备（假如是空，则默许运用 stdin 作为输入，stdout 作为输出）。
-t：测验装备文件是否正确，然后退出。

**界说输入输出流 **

输入选用规范输入，输出选用规范输出（类似管道）
指定数据输入端口，默许为9600~9700

    #测验 Logstash
    #输入选用规范输入 输出选用规范输出
    logstash -e 'input { stdin{} } output { stdout{} }'
www.baidu.com   #手动输入
2022-12-13T14:14:06.171Z apache www.baidu.com
www.sina.com    #收到输出
2022-12-13T14:14:15.993Z apache www.sina.com

#运用 rubydebug 输出详细格局显现，codec 为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

运用 Logstash 将信息写入 Elasticsearch 中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.1.11:9200"] } }'

结果不在规范输出显现，而是发送至 Elasticsearch 中，可浏览器拜访http://192.168.1.11:9100/ 检查索引信息和数据浏览。

**界说 logstash装备文件 **

Logstash 装备文件基本由三部分组成：input、output 以及 filter（可选，依据需求挑选运用）。

input：表明从数据源采集数据，常见的数据源如Kafka、日志文件等
filter：表明数据处理层，包含对数据进行格局化处理、数据类型转化、数据过滤等，支撑正则表达式
output：表明将Logstash搜集的数据经由过滤器处理之后输出到Elasticsearch。

#格局如下： 
input {...} 
filter {...} 
output {...}

#在每个部分中，也能够指定多个拜访方法，例如，若要指定两个日志来历文件

格局如下：
input { 
   file { path =>"/var/log/messages" type =>"syslog"} 
   file { path =>"/var/log/httpd/access.log" type =>"apache"}
   }

修正 Logstash 装备文件，让其搜集体系日志/var/log/messages，并将其输出到 elasticsearch 中,文件有必要以.conf格局结尾

chmod +r /var/log/messages
#让 Logstash 能够读取日志
vim /etc/logstash/conf.d/system.conf 
input { file{ path =>"/var/log/messages"    #指定要搜集的日志的方位 
    type =>"system"                         #自界说日志类型标识 
    start_position =>"beginning"            #表明从开端处搜集 
    } 
} 
output { 
    elasticsearch {                         #输出到 elasticsearch 
    hosts => ["192.168.1.11:9200"]          #指定 elasticsearch 服务器的地址和端口 
    index =>"system-%{+YYYY.MM.dd}"         #指定输出到 elasticsearch 的索引格局
    } 
}
 #重启服务
 systemctl restart logstash

浏览器拜访 http://192.168.1.11:9100/ 检查索引信息

ELK Kiabana 布置（在 Node1 节点上操作）

#装置 Kiabana 
#上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录 
cd /opt 
rpm -ivh kibana-5.5.1-x86_64.rpm

#设置 Kibana 的主装备文件
vim /etc/kibana/kibana.yml 
--2--撤销注释，Kiabana 服务的默许监听端口为5601 
server.port: 5601 
--7--撤销注释，设置 Kiabana 的监听地址，0.0.0.0代表一切地址 
server.host: "0.0.0.0" -
-21--撤销注释，设置和 Elasticsearch 树立衔接的地址和端口
elasticsearch.url: "<http://192.168.1.11:9200>" 
--30--撤销注释，设置在 elasticsearch 中增加.kibana索引 
kibana.index: ".kibana"

#发动 Kibana 服务 
systemctl start kibana.service 
systemctl enable kibana.service
netstat -natp | grep 5601

#验证Kibana
浏览器拜访http://192.168.1.11:5601
#将网页翻译成中文
第一次登录需求增加一个 Elasticsearch 索引：
Index name or pattern
//输入：system-*            #在索引名中输入之前装备的 Output 前缀“system”
单击 “create（创立）” 按钮创立，单击 “Discover（发现）” 按钮可检查图表信息及日志信息。
数据展现能够分类显现，在“Available Fields”中的“host”，
然后单击 “add”按钮，能够看到依照“host”挑选后的结果

#将 Apache 服务器的日志（拜访的、过错的）增加到 Elasticsearch 并经过 Kibana 显现
vim /etc/logstash/conf.d/apache_log.conf 
input { 
    file{ 
      path => "/etc/httpd/logs/access_log" 
      type => "access" start_position => "beginning" 
      } 
    file{ 
      path => "/etc/httpd/logs/error_log"
      type => "error" start_position => "beginning" 
      } 
    } 
output {
    if [type] == "access" { 
       elasticsearch { 
         hosts => ["192.168.1.11:9200"] 
         index => "apache_access-%{+YYYY.MM.dd}" 
         } 
    } 
    if [type] == "error" { elasticsearch { 
         hosts => ["192.168.1.11:9200"] 
         index => "apache_error-%{+YYYY.MM.dd}" 
         } 
        } 
    }
cd /etc/logstash/conf.d/ 
/usr/share/logstash/bin/logstash -f apache_log.conf
#加载装备文件

#浏览器拜访http://192.168.1.15/测验改写日志文件，不然或许没有日志同步到ES
#浏览器拜访http://192.168.1.11:9100能够看到同步的日志
#浏览器拜访http://192.168.1.11:5601 登录 Kibana，
点击左下角有个management（办理）选项
单击“Create Index Pattern（创立索引形式）”按钮增加索引， 
在索引名中输入之前装备的 Output 前缀 apache_access- *，
并单击“Create（创立）”按钮。
再用相同的办法增加 apache_error-*索引。 
挑选“Discover（发现）”选项卡，
在中心下拉列表中挑选刚增加的 apache_access-* 、apache_error-* 索引， 能够检查相应的图表及日志信息。

ELK企业级日志分析

ELK日志剖析体系简介

能够增加的其它组件

为什么要运用 ELK

完好日志体系基本特征

ELK 的工作原理

Elasticsearch的介绍

lasticsearch的核心概念

Logstash介绍

logStash的首要组件

LogStash主机分类

Kibana介绍

kibana的首要功用

ELK集群布置

Node1、Node2节点的布置

装置 Elasticsearch-head 插件

ELK Logstash 布置（在 Apache 节点上操作）

ELK Kiabana 布置（在 Node1 节点上操作）

作者信息

ELK企业级日志分析

ELK日志剖析体系简介

能够增加的其它组件

为什么要运用 ELK

完好日志体系基本特征

ELK 的工作原理

Elasticsearch的介绍

lasticsearch的核心概念

Logstash介绍

logStash的首要组件

LogStash主机分类

Kibana介绍

kibana的首要功用

ELK集群布置

Node1、Node2节点的布置

装置 Elasticsearch-head 插件

ELK Logstash 布置（在 Apache 节点上操作）

ELK Kiabana 布置（在 Node1 节点上操作）

相关文章

Flutter富文本编辑器系列文章3——交互篇

【Linux】进程的程序替换

程序员的快乐与苦恼

SpringBoot + validator优雅参数校验，消除if-else

作者信息