Logback配置，提升TPS

通過閱讀本篇文章將瞭解到

• 1.日誌輸出到文件並根據LEVEL級別將日誌分類保存到不同文件
• 2.通過異步輸出日誌減少磁盤IO提高性能
• 3.異步輸出日誌的原理

 

配置文件logback-spring.xml

SpringBoot工程自帶logback和slf4j的依賴，所以重點放在編寫配置文件上，需要引入什麼依賴，日誌依賴衝突統統都不需要我們管了。logback框架會默認加載classpath下命名爲logback-spring或logback的配置文件。將所有日誌都存儲在一個文件中文件大小也隨着應用的運行越來越大並且不好排查問題，正確的做法應該是將error日誌和其他日誌分開，並且不同級別的日誌根據時間段進行記錄存儲。

<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <property resource="logback.properties"/>
    <appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>%d [%t] %-5p [%c] - %m%n</pattern>
        </layout>
    </appender>
    <!--收集除error級別以外的日誌-->
    <appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>ERROR</level>
            <onMatch>DENY</onMatch>
            <onMismatch>ACCEPT</onMismatch>
        </filter>
        <encoder>
            <pattern>%d [%t] %-5p [%c] - %m%n</pattern>
        </encoder>

        <!--滾動策略-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑-->
            <fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>
    <appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>ERROR</level>
        </filter>
        <encoder>
            <pattern>%d [%t] %-5p [%c] - %m%n</pattern>
        </encoder>
        <!--滾動策略-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑-->
            <fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>

    <root level="info">
        <appender-ref ref="CONSOLE-LOG" />
        <appender-ref ref="INFO-LOG" />
        <appender-ref ref="ERROR-LOG" />
    </root>
</configuration>

部分標籤說明

• <root>標籤，必填標籤，用來指定最基礎的日誌輸出級別
• <appender-ref>標籤，添加append
• <append>標籤，通過使用該標籤指定日誌的收集策略
• name屬性指定appender命名
• class屬性指定輸出策略，通常有兩種，控制檯輸出和文件輸出，文件輸出就是將日誌進行一個持久化。ConsoleAppender將日誌輸出到控制檯
• <filter>標籤，通過使用該標籤指定過濾策略
• <level>標籤指定過濾的類型
• <encoder>標籤，使用該標籤下的<pattern>標籤指定日誌輸出格式
• <rollingPolicy>標籤指定收集策略，比如基於時間進行收集
• <fileNamePattern>標籤指定生成日誌保存地址 通過這樣配置已經實現了分類分天手機日誌的目標了

 

logback 高級特性異步輸出日誌

之前的日誌配置方式是基於同步的，每次日誌輸出到文件都會進行一次磁盤IO。採用異步寫日誌的方式而不讓此次寫日誌發生磁盤IO，阻塞線程從而造成不必要的性能損耗。異步輸出日誌的方式很簡單，添加一個基於異步寫日誌的appender，並指向原先配置的appender即可

<!-- 異步輸出 -->
    <appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender">
        <!--&lt;!&ndash; 不丟失日誌.默認的,如果隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日誌 &ndash;&gt;-->
        <!--<discardingThreshold>0</discardingThreshold>-->
        <!--&lt;!&ndash; 更改默認的隊列的深度,該值會影響性能.默認值爲256 &ndash;&gt;-->
        <!--<queueSize>256</queueSize>-->
        <!--&lt;!&ndash; 添加附加的appender,最多隻能添加一個 &ndash;&gt;-->
        <!--<appender-ref ref="INFO-LOG"/>-->
    </appender>

    <appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender">-->
        <!--&lt;!&ndash; 不丟失日誌.默認的,如果隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日誌 &ndash;&gt;-->
        <!--<discardingThreshold>0</discardingThreshold>-->
        <!--&lt;!&ndash; 更改默認的隊列的深度,該值會影響性能.默認值爲256 &ndash;&gt;-->
        <!--<queueSize>256</queueSize>-->
        <!--&lt;!&ndash; 添加附加的appender,最多隻能添加一個 &ndash;&gt;-->
        <!--<appender-ref ref="ERROR-LOG"/>-->
    </appender>

 

異步輸出日誌性能測試

既然能提高性能的話，必須進行一次測試比對，同步和異步輸出日誌性能到底能提升多少倍？

服務器硬件

• CPU 六核
• 內存 8G

測試工具

Apache Jmeter

同步輸出日誌

• 線程數：100
• Ramp-Up Loop(可以理解爲啓動線程所用時間) ：0 可以理解爲100個線程同時啓用
• 測試結果
•  

 

• 重點關注指標Throughput【TPS】吞吐量：系統在單位時間內處理請求的數量，在同步輸出日誌中TPS爲44.2/sec

異步輸出日誌

• 線程數 100
• Ramp-Up Loop：0
• 測試結果

 

• TPS爲497.5/sec，性能提升了10多倍！！！

異步日誌輸出原理

從logback框架下的Logger.info方法開始追蹤。一路的方法調用路徑如下圖所示：

 

異步輸出日誌中最關鍵的就是配置文件中ch.qos.logback.classic包下AsyncAppenderBase類中的append方法，查看該方法的源碼:

protected void append(E eventObject) {
 if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) {
 this.preprocess(eventObject);
 this.put(eventObject);
 }
 }

通過隊列情況判斷是否需要丟棄日誌，不丟棄的話將它放到阻塞隊列中，通過查看代碼，這個阻塞隊列爲ArrayBlockingQueueu，默認大小爲256，可以通過配置文件進行修改。Logger.info(...)到append(...)就結束了，只做了將日誌塞入到阻塞隊列的事，然後繼續執行Logger.info(...)下面的語句了。在AsyncAppenderBase類中定義了一個Worker線程，run方法中的關鍵部分代碼如下:

E e = parent.blockingQueue.take();

aai.appendLoopOnAppenders(e);

從阻塞隊列中取出一個日誌，並調用AppenderAttachableImpl類中的appendLoopOnAppenders方法維護一個Append列表。Worker線程中調用方法過程主要如下圖：

最主要的兩個方法就是encode和write方法，前一個法方會根據配置文件中encode指定的方式轉化爲字節碼，後一個方法將轉化成的字節碼寫入到文件中去。所以寫文件是通過新起一個線程去完成的，主線程將日誌扔到阻塞隊列中，然後又去做其他事情了。

 

參考：

https://github.com/TiantianUpup/springboot-log