ELFK集群布置（Filebeat+ELK）

ELFK= ES + logstash + filebeat + kibana

Filebeat

  • 轻量级的开源日志文件数据搜集器。通常在需求搜集数据的客户端装置 Filebeat，并指定目录与日志格式，Filebeat 就能快速搜集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上比较运行于 JVM 上的 logstash 优势明显，是对它的代替。
  • 常应用于 EFLK 架构当中。（如果要运用过滤功能的话，Filebeat不能完全代替logstash，Filebeat没有过滤功能，搜集数据后需求发送给 logstash 进行处理）

filebeat 结合 logstash 带来优点：

  1. 经过 Logstash 具有根据磁盘的自适应缓冲体系，该体系将吸收传入的吞吐量，从而减轻 Elasticsearch 继续写入数据的压力。
  2. 从其他数据源（例如数据库，S3对象存储或消息传递行列）中提取。
  3. 将数据发送到多个目的地，例如S3，HDFS（Hadoop分布式文件体系）或写入文件。
  4. 运用条件数据流逻辑组成更复杂的处理管道。

实验环境

  • node01节点：192.168.44.20（ES，2核4G）
  • node02节点：192.168.44.30（ES，2核4G）
  • Apache节点：192.168.44.40（Logstash、Kibana、Apache、filebeat，2核4G）

留意：ELFK各装置包的版本要共同，或附近。

操作过程

布置ELK集群

ELK集群的布置在前一篇文章中ELK 企业级日志剖析体系 – ()有详细介绍，可参考前一篇文章。

ELFK集群环境下，Logstash 组件地点节点的/etc/logstash/conf.d目录下，不需求创立system.conf配置文件，即Logstash不需求搜集体系日志，由于体系日志将由filebeat搜集后发送给Logstash。
（装置filebeat后，Logstash会创立filebeat.conf配置文件获取filebeat传来的数据）

装置 Filebeat（在apache节点操作）

  • 上传软件包 filebeat-6.2.4-linux-x86_64.tar.gz 到/usr/local/目录
    image.png

  • 替换目录名称为filebeat
    image.png

设置 filebeat 的主配置文件

  • 备份配置文件
    image.png

  • 修正配置文件filebeat.yml
    image.pngimage.pngimage.png

  • 发动 filebeat
    image.png

在 Logstash 组件地点节点上新建一个 Logstash 配置文件

由于logstash和filebeat在同一台主机上，所以再开一个终端进行操作

image.png

  • 修正文件filebeat.conf
    image.png

  • 发动 logstash
    image.png

    • 接受日志数据
      image.png

浏览器拜访

  • 浏览器拜访http://192.168.44.20:9100/ 。
    image.png

  • 浏览器拜访 http://192.168.44.40:5601 。登录 Kibana，单击“Create Index Pattern”按钮增加索引“httpd-*”，单击 “create” 按钮创立，单击 “Discover” 按钮可查看图表信息及日志信息。
    image.pngimage.png

Logstash的过滤模块

  • input {} 表明从数据源搜集数据，常见的数据源如Kafka、日志文件等
    • 指定输入流，经过file、beats、kafka、redis中获取数据
  • filter {} 表明数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式
    • 常用插件：
      • grok：对若干个大文本字段进行再分割，分割成一些小字段 （?<字段名>正则表达式） 字段名：正则表明匹配到的内容
      • date：对数据中的时刻进行统一格式化
      • mutate：对一些无用的字段进行除掉，或增加字段
      • mutiline：对多行数据进行统一编列，多行合并和拆分
  • ourput {} 表明将Logstash搜集的数据经由过滤器处理之后输出到Elasticsearch
    • elasticsearch stdout

Filter（过滤模块）中的插件

而关于 Logstash 的 Filter，这个才是 Logstash 最强大的当地。Filter 插件也非常多，我们常用到的 grok、date、mutate、mutiline 四个插件。

关于 filter 的各个插件履行流程，能够看图：

image.png

grok插件（经过grok插件完成对字段的分割，运用通配符）

这里就要用到 logstash 的 filter 中的 grok 插件。filebeat 发送给 logstash 的日志内容会放到message 字段里边，logstash 匹配这个 message 字段就能够了。

格式：

匹配格式：(?<字段名>正则表达式)
字段名：正则表达式匹配到的内容

实例1：

 (?<remote_addr>%{IPV6}|%{IPV4} )(?<other_info>.+)
 #对数据进行分割ip字段名为remote_addr， 其他字段名为other_info

实例2：

 (?<remote_addr>%{IPV6}|%{IPV4} )[\s-]+[(?<log_time>.+)](?<other_info>.+)
 #增加匹配时刻字段

实例3：

 #分割多个字段
 (?<remote_addr>%{IPV6}|%{IPV4})[\s-]+[(?<log_time>.+)]\s+"(?<http_method>\S+)\s+(?<url-path>.+)"\s+(?<rev_code>\d+)(?<other_info>.+)

实例4：

 cd /etc/logstash/conf.d/
 cp filebeat.conf filter.conf
 ​
 vim filter.conf
 input {
     beats {
         port => "5044"
     }
 }
 filter {
   grok {
      match =>["message","(?<remote_addr>%{IPV6}|%{IPV4} )[\s-]+[(?<log_time>.+)]\s+"(?<http_method>\S+)\s+(?<url-path>.+)"\s+(?<rev_code>\d+)(?<other_info>.+)"]
   }
 }
 output {
     elasticsearch {
         hosts => ["192.168.44.20:9200","192.168.44.30:9200"]
         index => "{[filter][service_name]}-%{+YYYY.MM.dd}"
     }
     stdout {
         codec => rubydebug
     }
 }
  logstash -f filter.conf   #发动