【进阶】logback之 AsyncAppender 的原理、源码及避坑建议

敞开成长之旅！这是我参加「日新方案 12 月更文应战」的第 36 天，点击检查活动详情

我是石页兄，朋友不因远而疏，高山不隔友谊情；偶遇美羊羊，我们相互鼓励

欢迎关注微信大众号「架构染色」沟通和学习

一、cache vs buffer

在体系规划中通常会有 cache 及 buffer 的规划：

• cache ：设备之间有速度差，高速设备拜访低速设备会造成高速设备等待，导致运用率下降，为了削减低速设备对高速设备的影响，在两者之间加入 cache，经过加快拜访速度，以提高高速设备的运用功率。
• buffer ：通俗来说便是化零为整，把少量多次变成多量少次；具体来说便是进行流量整形，把突发的大数量较小规模的 I/O 整理成平稳的小数量较大规模的 I/O，以削减呼应次数

二、 AsyncAppender

2.1 AsyncAppender 属于 cache 级的方案

AsyncAppender 关注的要点在于高并发下，把日志写盘 变成 日志写内存，削减写日志的 RT。

2.2 AsyncAppender 原理简析

appender 之间构成链，AsyncAppender 接纳日志，放入其内部的一个堵塞行列，专开一个线程从堵塞行列中取数据（每次一个）丢给链路下游的 appender（如 FileAppender);

2.2 AsyncAppender 原理详解

当 Logging Event 进入 AsyncAppender 后，AsyncAppender 会调用 appender 办法，append 办法中在将 event 填入 BlockingQueue 中前，会先判断当时 buffer 的容量以及丢掉日志特性是否敞开，当消费能力不如生产能力时，AsyncAppender 会超出 Buffer 容量的 Logging Event 的等级，进行丢掉，作为消费速度一旦跟不上生产速度，中转 buffer 的溢出处理的一种方案。AsyncAppender 有个线程类 Worker，它是一个简略的线程类，是 AsyncAppender 的后台线程，所要做的作业是：从 buffer 中取出 event 交给对应的 appender 进行后面的日志推送。

AsyncAppender 并不处理日志，仅仅将日志缓冲到一个 BlockingQueue 里边去，并在内部创立一个作业线程从行列头部获取日志，之后将获取的日志循环记载到附加的其他 appender 上去，然后达到不堵塞主线程的效果。因而 AsynAppender 仅仅充当事情转发器，必须引用另一个 appender 来干事。

三、异步的 AsyncAppender 源码分析

3.1 承继联系

3.2 异步的 AsyncAppender

AsyncAppender 的承继联系是：AsyncAppender -> AsyncAppenderBase -> UnsynchronizedAppenderBase，AsyncAppenderBase 中 append 办法完成如下：

public class AsyncAppenderBase<E> extends UnsynchronizedAppenderBase<E> implements AppenderAttachable<E> {
  BlockingQueue<E> blockingQueue = new ArrayBlockingQueue<E>(queueSize);
  @Override
  protected void append(E eventObject) {
    // 假如行列满，而且允许丢掉，则直接 return
    if (isQueueBelowDiscardingThreshold() && isDiscardable(eventObject)) {
      return;
    }
    preprocess(eventObject);
    put(eventObject);
  }
  private void put(E eventObject) {
    try {
      blockingQueue.put(eventObject);
    } catch (InterruptedException e) {
    }
  }
}

append 办法是把日志目标放到了堵塞行列 ArrayBlockingQueue 中。

discardingThreshold 是一个阈值，经过下面代码看他的效果：

当行列的剩余容量小于这个阈值而且当时日志 level TRACE, DEBUG or INFO ，则丢掉这些日志。

在压测时分代码装备如上，也便是装备了异步日志，但是仍是呈现了线程堵塞在打日志的地方了，经检查是堵塞到了日志行列 ArrayBlockingQueue 的 put 办法：

可知 put 办法在行列满时分会挂起当时线程。那么如何解那？ 上面介绍了 discardingThreshold，可知本文设置为 0 阐明永久不会丢掉日志 level TRACE, DEBUG or INFO 的日志，只需 discardingThreshold>0 则当行列快满时分 level TRACE, DEBUG or INFO 的日志就会丢掉掉，这个形似可以解决问题。但是假如打印的是 warn 等级的日志那？仍是会在 put 的时分堵塞。

经过看代码发现最终写日志时分有个判断：

假如设置了 neverBlock=true 则写日志行列时分会调用 ArrayBlockingQueue 对的 offer 办法而不是 put,而 offer 对错堵塞的：

可知假如行列满则直接回来，而不是被挂起当时线程（当行列满了，put 堵塞，等有了再加，add 直接报错，offer 回来状态） 所以装备异步 appender 时分如下：

<appender name ="asyncFileAppender" class= "ch.qos.logback.classic.AsyncAppender">
        <!-- 假如行列的80%已满,则会丢掉TRACT、DEBUG、INFO等级的日志 -->
        <discardingThreshold >20</discardingThreshold>
        <!-- 更改默许的行列的深度,该值会影响功能.默许值为256 -->
        <queueSize>512</queueSize>
        <!-- 行列满了不堵塞调用者-->
        <neverBlock>true</neverBlock>
        <!-- 增加附加的appender,最多只能增加一个 -->
        <appender-ref ref ="file"/>
    </appender>
    <springProfile name="default,dev">
        <root level="info">
            <appender-ref ref="consoleWithSwitch"/>
            <appender-ref ref="asyncFileAppender"/>
        </root>
    </springProfile>
    <springProfile name="pro,prd,stg,test,uat,fit,fat,sit">
        <root level="info">
            <!--<appender-ref ref="consoleWithSwitch"/>-->
            <appender-ref ref="catAppender"/>
            <appender-ref ref="asyncFileAppender"/>
        </root>
    </springProfile>

那么何时把行列中的数据存入日志文件呢？AsyncAppenderBase 中有一个 Worker 目标，担任从行列中取数据并调用 AppenderAttachableImpl 来处理：（这儿一次只取一个进行追加的方法，功率有点低啊）

    public void run() {
      AsyncAppenderBase<E> parent = AsyncAppenderBase.this;
      AppenderAttachableImpl<E> aai = parent.aai;
      // loop while the parent is started
      while (parent.isStarted()) {
        try {
          E e = parent.blockingQueue.take();
          aai.appendLoopOnAppenders(e);
        } catch (InterruptedException ie) {
          break;
        }
      }
      addInfo("Worker thread will flush remaining events before exiting. ");
      for (E e : parent.blockingQueue) {
        aai.appendLoopOnAppenders(e);
      }
      aai.detachAndStopAllAppenders();
    }
  }

这儿的 AppenderAttachableImpl 也便是 logback.xml 里装备的 appender-ref 目标

四、运用需注意

在运用 AsyncAppender 的时分，有些选项仍是要注意的。因为运用了 BlockingQueue 来缓存日志，因而就会呈现行列满的情况。正如上面原理中所说的，在这种情况下，AsyncAppender 会做出一些处理：默许情况下，假如行列 80%已满，AsyncAppender 将丢掉 TRACE、DEBUG 和 INFO 等级的 event，从这点就可以看出，该策略有一个惊人的对 event 丢失的价值功能的影响。别的其他的一些选项信息，也会对功能产生影响，下面列出常用的几个特点装备信息：

• queueSize
  • BlockingQueue 的最大容量，默许情况下，巨细为 256，这个值需调整
• discardingThreshold
  • 默许情况下，当 BlockingQueue 还有 20%容量，他将丢掉 TRACE、DEBUG 和 INFO 等级的 event，只保存 WARN 和 ERROR 等级的 event。为了坚持一切的 events，可设置该值为 0。
• includeCallerData
  • 提取调用者数据的价值是相当昂贵的。为了提高功能，默许情况下，当 event 被加入到 queue 时，event 关联的调用者数据不会被提取。默许情况下，只有”cheap”的数据，如线程名。

内部所用 BlockingQueue 的功能很一般，若对功能有更高的要求，可考虑运用其他的更高功能的行列（如JCTools)替换之。

五、最后说一句

我是石页兄，假如这篇文章对您有协助，或者有所启示的话，欢迎关注笔者的微信大众号【 架构染色 】进行沟通和学习。您的支撑是我坚持写作最大的动力。

欢迎点击链接扫马儿关注、沟通。

参考并感谢

• logback.xml immediate=false 究竟缓存空间是多大
• 异步记载日志
• logback 功能调优测试
• Java 日志结构解析：规划形式、功能
• Log4j 的 AsyncAppender 能否提高功能？什么场景用比较好？
• www.logback.cn/04 章 Append… 介绍了各种 Appenders
• SpringBoot2.0 学习笔记：(四) Spring Boot 的日志详解
• AsyncAppender 异步打印日志
• 异步打印日志的一点事
• log4j2 异步日志解读（一）AsyncAppender
• logback 常用装备（详解）
• www.cnblogs.com/vandusty/p/…