Logback配置文件这么写，TPS提高10倍 | 好好学java | Spring Boot | Spring Cloud | 微服务 | Java技术 | Java面试 | 分布式

其他框架,redis,

其他框架

发布日期: 2021-04-05

作者: 欧阳思海

文章字数: 2.1k

阅读时长: 8 分

阅读次数:

本人花费半年的时间总结的《Java面试指南》已拿腾讯等大厂offer，已开源在github ，欢迎star！

本文GitHub https://github.com/OUYANGSIHAI/JavaInterview 已收录，这是我花了6个月总结的一线大厂Java面试总结，本人已拿大厂offer，欢迎star

原文链接：blog.ouyangsihai.cn >> Logback配置文件这么写，TPS提高10倍

点击上方“后端技术精选”，选择“置顶公众号”

技术文章第一时间送达！

作者：何甜甜在吗

作者：何甜甜在吗 juejin.im/post/5d4d61326fb9a06aff5e5ff5

受台风利奇马的影响很多地方都迎来了强降雨，双休日不能出去玩一起学习吧，就先从最基本的配置讲起再介绍高级特性异步输出日志。如果只想看异步输出日志提升性能的部分请将文章往下拉一点。

通过阅读本篇文章将了解到

日志输出到文件并根据LEVEL级别将日志分类保存到不同文件

通过异步输出日志减少磁盘IO提高性能

异步输出日志的原理

配置文件logback-spring.xml
SpringBoot工程自带logback和slf4j的依赖，所以重点放在编写配置文件上，需要引入什么依赖，日志依赖冲突统统都不需要我们管了。

logback框架会默认加载classpath下命名为logback-spring或logback的配置文件。将所有日志都存储在一个文件中文件大小也随着应用的运行越来越大并且不好排查问题，正确的做法应该是将error日志和其他日志分开，并且不同级别的日志根据时间段进行记录存储。
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647
?xml version="1.0" encoding="utf-8"?
configuration
    property resource="logback.properties"/
    appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender"
        layout class="ch.qos.logback.classic.PatternLayout"
            pattern[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n/pattern
        /layout
    /appender
    !--获取比info级别高(包括info级别)但除error级别的日志--
    appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender"
        filter class="ch.qos.logback.classic.filter.LevelFilter"
            levelERROR/level
            onMatchDENY/onMatch
            onMismatchACCEPT/onMismatch
        /filter
        encoder
            pattern[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n/pattern
        /encoder
         !--滚动策略--
        rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"
            !--路径--
            fileNamePattern${LOG_INFO_HOME}//%d.log/fileNamePattern
            maxHistory30/maxHistory
        /rollingPolicy
    /appender
    appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender"
        filter class="ch.qos.logback.classic.filter.ThresholdFilter"
            levelERROR/level
        /filter
        encoder
            pattern[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n/pattern
        /encoder
        !--滚动策略--
        rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"
            !--路径--
            fileNamePattern${LOG_ERROR_HOME}//%d.log/fileNamePattern
            maxHistory30/maxHistory
        /rollingPolicy
    /appender
     root level="info"
        appender-ref ref="CONSOLE-LOG" /
        appender-ref ref="INFO-LOG" /
        appender-ref ref="ERROR-LOG" /
    /root
/configuration
?xml version=”1.0” encoding=”utf-8”?
configuration
    property resource=”logback.properties”/
    appender name=”CONSOLE-LOG” class=”ch.qos.logback.core.ConsoleAppender”
        layout class=”ch.qos.logback.classic.PatternLayout”
            pattern[%d{yyyy-MM-dd’ ‘HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n/pattern
        /layout
    /appender
    !–获取比info级别高(包括info级别)但除error级别的日志–
    appender name=”INFO-LOG” class=”ch.qos.logback.core.rolling.RollingFileAppender”
        filter class=”ch.qos.logback.classic.filter.LevelFilter”
            levelERROR/level
            onMatchDENY/onMatch
            onMismatchACCEPT/onMismatch
        /filter
        encoder
            pattern[%d{yyyy-MM-dd’ ‘HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n/pattern
        /encoder

        !–滚动策略–
        rollingPolicy class=”ch.qos.logback.core.rolling.TimeBasedRollingPolicy”
            !–路径–
            fileNamePattern${LOG_INFO_HOME}//%d.log/fileNamePattern
            maxHistory30/maxHistory
        /rollingPolicy
    /appender
    appender name=”ERROR-LOG” class=”ch.qos.logback.core.rolling.RollingFileAppender”
        filter class=”ch.qos.logback.classic.filter.ThresholdFilter”
            levelERROR/level
        /filter
        encoder
            pattern[%d{yyyy-MM-dd’ ‘HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n/pattern
        /encoder
        !–滚动策略–
        rollingPolicy class=”ch.qos.logback.core.rolling.TimeBasedRollingPolicy”
            !–路径–
            fileNamePattern${LOG_ERROR_HOME}//%d.log/fileNamePattern
            maxHistory30/maxHistory
        /rollingPolicy
    /appender

    root level=”info”
        appender-ref ref=”CONSOLE-LOG” /
        appender-ref ref=”INFO-LOG” /
        appender-ref ref=”ERROR-LOG” /
    /root
/configuration

部分标签说明
root标签，必填标签，用来指定最基础的日志输出级别

`appender-ref`标签，添加append

append标签，通过使用该标签指定日志的收集策略

`name`属性指定appender命名

`class`属性指定输出策略，通常有两种，控制台输出和文件输出，文件输出就是将日志进行一个持久化。ConsoleAppender将日志输出到控制台

filter标签，通过使用该标签指定过滤策略

`level`标签指定过滤的类型

encoder标签，使用该标签下的标签指定日志输出格式
rollingPolicy标签指定收集策略，比如基于时间进行收集

`fileNamePattern`标签指定生成日志保存地址，通过这样配置已经实现了分类分天手机日志的目标了

logback 高级特性异步输出日志
之前的日志配置方式是基于同步的，每次日志输出到文件都会进行一次磁盘IO。采用异步写日志的方式而不让此次写日志发生磁盘IO，阻塞线程从而造成不必要的性能损耗。异步输出日志的方式很简单，添加一个基于异步写日志的appender，并指向原先配置的appender即可
123456789101112131415161718
 !-- 异步输出 --
    appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender"
        !-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 --
        discardingThreshold0/discardingThreshold
        !-- 更改默认的队列的深度,该值会影响性能.默认值为256 --
        queueSize256/queueSize
        !-- 添加附加的appender,最多只能添加一个 --
        appender-ref ref="INFO-LOG"/
    /appender
     appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender"
        !-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 --
        discardingThreshold0/discardingThreshold
        !-- 更改默认的队列的深度,该值会影响性能.默认值为256 --
        queueSize256/queueSize
        !-- 添加附加的appender,最多只能添加一个 --
        appender-ref ref="ERROR-LOG"/
    /appender
!– 异步输出 –
    appender name=”ASYNC-INFO” class=”ch.qos.logback.classic.AsyncAppender”
        !– 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 –
        discardingThreshold0/discardingThreshold
        !– 更改默认的队列的深度,该值会影响性能.默认值为256 –
        queueSize256/queueSize
        !– 添加附加的appender,最多只能添加一个 –
        appender-ref ref=”INFO-LOG”/
    /appender

    appender name=”ASYNC-ERROR” class=”ch.qos.logback.classic.AsyncAppender”
        !– 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 –
        discardingThreshold0/discardingThreshold
        !– 更改默认的队列的深度,该值会影响性能.默认值为256 –
        queueSize256/queueSize
        !– 添加附加的appender,最多只能添加一个 –
        appender-ref ref=”ERROR-LOG”/
    /appender

异步输出日志性能测试
既然能提高性能的话，必须进行一次测试比对，同步和异步输出日志性能到底能提升多少倍？

服务器硬件

CPU 六核

内存 8G

测试工具

Apache Jmeter

同步输出日志

线程数：100

Ramp-Up Loop(可以理解为启动线程所用时间) ：0

可以理解为100个线程同时启用

测试结果

重点关注指标Throughput【TPS】吞吐量：系统在单位时间内处理请求的数量，在同步输出日志中TPS为44.2/sec

异步输出日志

线程数 100

Ramp-Up Loop：0

测试结果

TPS为497.5/sec，性能提升了10多倍！！！

异步日志输出原理
从logback框架下的Logger.info方法开始追踪。一路的方法调用路径如下图所示：

异步输出日志中最关键的就是配置文件中ch.qos.logback.classic包下AsyncAppenderBase类中的append方法，查看该方法的源码:
123456
protected void append(E eventObject) {
        if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) {
            this.preprocess(eventObject);
            this.put(eventObject);
        }
    }
protected void append(E eventObject) {
        if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) {
            this.preprocess(eventObject);
            this.put(eventObject);
        }
    }

通过队列情况判断是否需要丢弃日志，不丢弃的话将它放到阻塞队列中，通过查看代码，这个阻塞队列为ArrayBlockingQueueu，默认大小为256，可以通过配置文件进行修改。

Logger.info(…)到append(…)就结束了，只做了将日志塞入到阻塞队列的事，然后继续执行Logger.info(…)下面的语句了。

在AsyncAppenderBase类中定义了一个Worker线程，run方法中的关键部分代码如下:
12
E e = parent.blockingQueue.take();
aai.appendLoopOnAppenders(e);
E e = parent.blockingQueue.take();
aai.appendLoopOnAppenders(e);

最主要的两个方法就是encode和write方法，前一个法方会根据配置文件中encode指定的方式转化为字节码，后一个方法将转化成的字节码写入到文件中去。所以写文件是通过新起一个线程去完成的，主线程将日志扔到阻塞队列中，然后又去做其他事情了。

源码

https://github.com/TiantianUpup/springboot-log

原文始发于微信公众号（后端技术精选）：

本人花费半年的时间总结的《Java面试指南》已拿腾讯等大厂offer，已开源在github ，欢迎star！

本文GitHub https://github.com/OUYANGSIHAI/JavaInterview 已收录，这是我花了6个月总结的一线大厂Java面试总结，本人已拿大厂offer，欢迎star

原文链接：blog.ouyangsihai.cn >> Logback配置文件这么写，TPS提高10倍