TraceId 搭配 ELK ，碉堡了！-六虎

“我报名参加金石方案1期应战——瓜分10万奖池，这是我的第1篇文章，点击检查活动详情”

哈喽，咱们好，我是一条。

之前写了一篇关于 TraceId 的文章：为大局请求增加 TraceId ，看日志再也不懵逼，有幸上了周榜，在此感谢一下引荐人：和耳朵，不过说实话写的不够详细，在通过屡次认真写没被引荐之后也就没啥动力了，究竟没有人能够一直为爱发电。

今日就接着 TraceId 做一些优化，如果想快速的定位到问题，就要完成对日志的快速查找，所以本文就引进 ELK 技能栈。

ELK 是 ES、Logstash、Kibana 的总称，其中心功用便是完成数据的搜集、查找、可视化。具体功用和运用在本文都会提到。

需求分析

先分析一下，咱们想完成的中心功用是查找，必然是用 ES 完成，那问题就转换成如何将日志搜集并存储到 ES。

日志咱们都不陌生了，能够在控制台打印，也能够存入文件，那能不能直接输入 ES 呢，好像没听说过。

这儿就要用到 Logstash 来搜集日志，Spring 默许的日志框架 Logback 现已对其供给了支持，咱们要做的只是编写装备文件。

Logstash 有个问题便是十分占用内存，所以本文后面会介绍另一个比较轻量级的日志搜集工具 FileBeat ，由 Go 言语编写。

一起关于真实的线上环境为了确保吞吐量和可靠性，都会引进 Kafka 进行解耦，本文不做演示。

下面就进入实战部分，建立一套日志搜集与查找系统。

ES

引荐咱们去 elastic 的中文社区下载 ELK ，速度会比较快，官网当然也是能够的。目前最新版别是8.+，引荐还是下 7.+ 比较保险，具体版别随意，但 ELK 的版别要一致。

本文运用 7.14.2 版别。下载下来解压就行，不废话。

修正装备文件

进入 config 目录：

# elasticsearch.yml
path.data: /Users/li/programs/elasticsearch-7.14.2/data
path.logs: /Users/li/programs/elasticsearch-7.14.2/logs
ingest.geoip.downloader.enabled: false

# jvm.options
# 如果内存够用也能够不修正
-Xms1g
-Xmx1g

发动

./bin/elasticsearch

[2022-09-13T10:54:10,015][INFO ][o.e.n.Node               ] [LdeMacBook-Pro.mshome.net] started
[2022-09-13T10:54:10,730][INFO ][o.e.l.LicenseService     ] [LdeMacBook-Pro.mshome.net] license [b7a596e6-1b61-4e6d-af2f-7eab70fe693b] mode [basic] - valid

测验

浏览器拜访：http://localhost:9200/

kibana

下面再安装 ES 的可视化工具，下载地址同上，版别号同上。

修正装备文件

# kibana.yml
server.port: 5601
server.host: "localhost"
elasticsearch.hosts: ["http://localhost:9200"]
kibana.index: ".kibana"
i18n.locale: "zh-CN" # 中文

发动

./bin/kibana

[10:56:42.001] [info][status] Kibana is now degraded
[10:56:44.784] [info][status] Kibana is now available (was degraded)

测验

浏览器拜访：http://localhost:5601/

新增数据并查询

PUT /ecommerce/product/1
 {
     "name" : "gaolujie yagao",
     "desc" :  "gaoxiao meibai",
     "price" :  30,
     "producer" :  "gaolujie producer",
     "tags": [ "meibai", "fangzhu" ]
 }
GET /ecommerce/product/1

Logstash

下载地址同上，版别号同上。

拷贝装备文件 logstash-sample.conf

# logstash-log-boot.conf
input {
  tcp {
    mode => "server"
    host => "127.0.0.1"
    # 通过监听9001端口进行搜集日志
    port => 9001
    codec => json_lines
  }
}
output {
  elasticsearch {
    # ES的地址
    hosts => ["http://127.0.0.1:9200"]
    # 索引的名称
    index => "boot-log-collection-%{+YYYY.MM.dd}"
  }
  stdout {
    codec => rubydebug
  }
}

发动

./bin/logstash -f ./config/logstash-log-boot.conf

Logback

OK，到此 ELK 就建立完了，接下来便是装备 boot 使用的日志输出。logback.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property name="LOG_PATTERN"
              value="%d{yyyy-MM-dd} %d{HH:mm:ss.SSS} [%highlight(%-5level)] [%boldYellow(%X{traceId})] [%boldYellow(%thread)] %boldGreen(%logger{36} %F.%L) %msg%n">
    </property>
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>${LOG_PATTERN}</pattern>
        </encoder>
        <!-- 控制台打印INFO及以上级别的日志 -->
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
    </appender>
    <!--    LOGSTASH 日志搜集-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!-- 在logstash发动文件logstash-log-boot.conf中装备的IP地址和端口 -->
        <destination>127.0.0.1:9001</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
    </appender>
    <root>
        <appender-ref ref="STDOUT"/>
        <!-- 引进LOGSTASH-->
        <appender-ref ref="LOGSTASH" />
    </root>
</configuration>

如果报LogstashTcpSocketAppender这个类找不到，需求增加一个依靠：

	<dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>6.6</version>
        </dependency>

其实这个依靠便是用来网络通信的，来传输日志。

测验

这时发动使用，观看 Logstash 的控制台，会跟着打印日志，再打开 ES ，创立咱们装备好的查询索引，奇特的事情发生了，日志一条一条的展示出来。

再结合 TraceId 进行查找，简直逆天！

Filebeat

同样是下载 FileBeat 。

修正装备文件

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /Users/li/IdeaProjects/cloud-alibaba/cloud-service-commerce/commerce-user/log/*.log
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 2
setup.kibana:
  host: "localhost:5601"
output.elasticsearch:
  hosts: ["localhost:9200"]
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

由于 Filebeat 是根据监控日志文件有没有新增来同步数据的，所以需求装备日志文件的目录。

能够直接输出到 ES ，也能够输出到 Logstash 。二选一！

再装备 logback.xml

<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!--日志文件输出位置-->
        <File>/Users/li/IdeaProjects/cloud-alibaba/cloud-service-commerce/commerce-user/log/user.log</File>
        <encoder>
            <!--[%X{requestId}] 线程id,方便排查日志-->
            <pattern>%date %level [%thread] [%X{requestId}] [%logger{36}.%method\(\):%line] %msg%n</pattern>
        </encoder>
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 增加.gz 历史日志会启用压缩 大大缩小日志文件所占空间 -->
            <!--<fileNamePattern>/home/log/stdout.log.%d{yyyy-MM-dd}.log</fileNamePattern>-->
            <fileNamePattern>
                /Users/li/IdeaProjects/cloud-alibaba/cloud-service-commerce/commerce-user/log/user-%d{yyyy-MM-dd}.log
            </fileNamePattern>
            <maxHistory>3</maxHistory><!-- 保留 3 天日志 -->
        </rollingPolicy>
    </appender>
		<root>
        <appender-ref ref="FILE"/>
    </root>

再次发动项目，发现日志已写入文件

进入 ES 查询，同样查询到日志。

通过测验，FileBeat 的日志搜集延迟时间要比 Logstash 长，究竟根据文件进行同步，能够了解，并且自身业务实时性要求不高。

最终

内容看着比较多，实际很简单完成，但真实生产环境要复杂的多，还需不断思考。

点个赞吧！

TraceId 搭配 ELK ，碉堡了！

需求分析

ES

kibana

Logstash

Logback

Filebeat

最终

相关文章

产品说：“用户登陆要使用RSA加密才行”

APP启动过程监控与优化

5分钟学会设计模式之策略模式（图片加载框架）

Spring Security 一键接入验证码登录和小程序登录

作者信息