继续创作，加快成长！这是我参加「日新方案 10 月更文挑战」的第6天，点击检查活动概况

前语

我们好，我是小郭，最近在玩 ELK 日志渠道，它是 Elastic 公司推出的一整套日志搜集、分析和展现的解决方案。

只要学习了，操作了才能算真实的学会运用了，虽然看起来简略，可是里面的流程过程还是许多的，将过程和遇到的问

题记录和总结下，今天首要分享下在Docker环境下布置 logstash 日志搜集东西。

# 从零到一建立ELK日志，在Docker环境下布置 Elasticsearch 数据库

# 从零到一建立ELK日志，在Docker环境下布置 Kibana 可视化东西

# 从零到一建立ELK日志，在Docker环境下布置 Filebeat 日志搜集东西

什么是 logstash？

Logstash是具有实时流水线能力的开源的数据搜集引擎。Logstash能够动态一致不同来历的数据，并将数据标准化到您选择的目标输出。它供给了很多插件，可协助咱们解析，丰厚，转化和缓冲任何类型的数据。

工作方法

管道（Logstash Pipeline）是Logstash中独立的运转单元，每个管道都包含两个必须的元素输入（input）和输出（output），和一个可选的元素过滤器（filter），事情处理管道负责协调它们的履行。

输入和输出支撑编解码器，使您能够在数据进入或退出管道时对其进行编码或解码，而不必运用独自的过滤器。如：json、multiline等

不得不学！从零到一搭建ELK日志，在Docker环境下部署 logstash 工具

inputs（输入阶段）：

Logstash 支撑各种输入选择，能够一起从众多常用来历捕捉事情。

包含：file、kafka、beats等

filters（挑选阶段）：

数据从源传输到存储库的过程中，Logstash 挑选器能够解析各个事情，辨认已命名的字段以构建结构，并将它们转化成通用格式，以便进行更强大的分析和实现商业价值。

包含：

  • 使用 Grok 从非结构化数据中派生出结构
  • 简化整体处理，不受数据源、格式或架构的影响等

outputs（输出阶段）：

将事情数据发送到特定的目的地，完结了所以输出处理，改事情就完结了履行。

如：elasticsearch、file、redis等

Codecs（解码器）：

基本上是流过滤器，作为输入和输出的一部分进行操作，能够轻松地将音讯的传输与序列化过程分隔。

扩展

Logstash 采用可插拔结构，拥有 200 多个插件。您能够将不同的输入选择、挑选器和输出选择混合搭配、精心安排，让它们在管道中调和地运转。

布置 logstash 日志搜集东西

logstash的布置方法有许多种，一般情况下咱们能够采用下载 logstash 装置包的方法去发动。

可是官方为咱们供给了Docker的布置方法，我比较倾向于使用Docker来进行管理。

  1. 装置Logstash镜像
docker pull docker.elastic.co/logstash/logstash:7.7.1
  1. 创建文件目录和装备文件

创建文件夹

mkdir -p /data/elk/logstash/config
mkdir -p /data/elk/logstash/pipeline

创建装备文件

logstash.yml 放在/data/elk/logstash/config

touch logstash.yml
vi logstash.yml
config:
  reload:
    automatic: true
    interval: 3s
xpack:
  management.enabled: false
  monitoring.enabled: false

装备文件 pipelines.yml

放在/data/elk/logstash/config

在这里咱们能够装备多个管道信息，来搜集不同的信息

touch pipelines.yml
vi pipelines.yml
- pipeline.id: logstash_dev
  path.config: /usr/share/logstash/pipeline/logstash_dev.conf

装备文件 logstash_dev.conf

放在/data/elk/logstash/pipeline下

touch logstash_dev.conf
vi logstash_dev.conf
input {
  beats {
    port => 9900
  }
}
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  mutate {
    convert => {
      "bytes" => "integer"
    }
  }
  geoip {
    source => "clientip"
  }
  useragent {
    source => "user_agent"
    target => "useragent"
  }
  date {
    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
  }
}
output {
  stdout { }
  elasticsearch {
    hosts => ["127.0.0.1:9200"]
    index => "xiaoguo_test_example"
  }
}

注意了，在这里咱们能够装备索引的称号，以便利咱们后边在检查

  1. 发动容器

最重要的一个环节来了，成败在此一举

docker run -d -it --restart=always  --privileged=true  --name=logstash -p 5047:5047 -p 9600:9600 -v /data/elk/logstash/pipeline/:/usr/share/logstash/pipeline/      -v /data/elk/logstash/config/:/usr/share/logstash/config/ docker.elastic.co/logstash/logstash:7.7.1

指令或许存在换行的问题，能够先仿制出来去掉换行

发动结果：

不得不学！从零到一搭建ELK日志，在Docker环境下部署 logstash 工具

  1. 验证是否发动成功

经过docker logs id 来看logstash是否发动成功

不得不学！从零到一搭建ELK日志，在Docker环境下部署 logstash 工具

看到Successfully就表明成功了

  1. 修改 filebeat 装备文件

在前面的文章中咱们现已将FlieBeat + Es + Kibana 的合并操作

咱们只需要修改 filebeat 装备文件 filebeat.yml

将输出地址更改为咱们布置的 logstash 地址

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /usr/share/filebeat/logs/*
output.logstash:
  hosts: ["ip:9900"]
  1. 查询是否生成索引
curl http://localhost:9200/_cat/indices?v

看到自定义称号的那个索引，就表明成功了

不得不学！从零到一搭建ELK日志，在Docker环境下部署 logstash 工具

  1. 上Kibana检查

不得不学！从零到一搭建ELK日志，在Docker环境下部署 logstash 工具

总结

咱们首要完结在Docker环境下布置 logstash 日志搜集东西，他是建立ELK日志非常重要的一部分，上一篇文章Filebeat日志搜集完结之后，将数据写入 Elasticsearch 后用 Kibana 进行可视化展现，现在咱们现已完结了

Filebeat 搜集数据写入 logstash处理，再将数据写入 Elasticsearch 后 Kibana 进行可视化展现的全过程。

不得不学！从零到一搭建ELK日志，在Docker环境下部署 logstash 工具

欢迎我们谈论、点赞、收藏~

如有不对的当地欢迎指出！

不得不学！从零到一搭建ELK日志，在Docker环境下部署 logstash 工具