spring cloud搭建elk

前言：由於項目是使用spring cloud搭建的。項目前期沒有搭建elk日誌系統，結果正式環境需要查看很久之前的日誌很不方便，而且服務器上的日誌只保留了1個月，再追溯之前的日誌就無處可尋了。本來該再項目初期就搭建elk日誌管理的。奈何我是項目中期才加入進來。所以需要單獨再搭建一下。

一、安裝前準備

elastic官網：

https://www.elastic.co/cn/downloads

1.elasticsearch-6.2.2 (存儲日誌數據)

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.tar.gz

2.logstash-6.2.2（收集日誌數據）

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.2.tar.gz

3.kibana-6.2.2（顯示日誌數據）

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.2-linux-x86_64.tar.gz

二、開始安裝

1.elasticsearch 安裝

參考我之前的博客：https://blog.csdn.net/unhejing/article/details/103565510

2.logstash 安裝

（1）解壓安裝包

tar -zxvf logstash-6.2.2.tar.gz

（2）測試安裝是否成功

bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

顯示 Pipeline started succesfully即表示成功。

然後你會發現終端在等待你的輸入。敲入 Hello World，回車，結果如圖：

（3）配置logstash將日誌輸出到elasticsearch

--修改logstash配置文件

cd logstash-6.2.2/config/
vim logstash.conf

創建配置文件並輸入以下配置：

input {                                                                                                          
    tcp {
        port => 4560                                                                                             
        codec => "json"                                                                                          
    }                                                                                                            
}                                                                                                                
output {                                                                                                         
    elasticsearch { 
        hosts => ["localhost:9200"]
        index => "%{[appname]}"
    }                                                               
    stdout { codec => rubydebug }                                                                              
}

--配置文件說明：

其中port爲端口號，codec表示數據爲json格式傳輸，elasticsearch.hosts表示elasticsearch的地址,index爲日誌在的elasticsearch存儲的索引。appname配置就是獲取日誌中的 appname字段的值做爲索引的名稱

--啓動

帶配置文件啓動，進程不能退出，調試的時候使用。

bin/logstash -f logstash.conf

後臺啓動(輸入全路徑)：

nohup /usr/local/elk/logstash-6.2.2/bin/logstash -f /usr/local/elk/logstash-6.2.2/config/logstash.conf > /var/log/logstash/logstash.log 2>&1 &

3.kibana 安裝

（1）解壓安裝包

tar -zxvf kibana-6.2.2-linux-x86_64.tar.gz

（2）修改配置文件

cd kibana-6.2.2-linux-x86_64/config/
vim kibana.yml

修改配置：

# 端口
server.port: 5601
# 指定本機ip讓外部能訪問
server.host: "0.0.0.0"
# 請求數據指向的elasticsearch服務器
elasticsearch.url: "http://192.168.31.53:9200"

進入bin目錄啓動：

sh kibana &

後臺啓動：

nohup bin/kibana &

在瀏覽器輸入：ip:5601訪問，如圖：

綜上：服務器端的elk配置搭建成功，接下來需要配置spring cloud的日誌文件，使之產生的日誌能發送到elasticsearch上儲存。

三、修改每個java微服務的logback-spring.xml 日誌文件

--在原日誌文件的基礎上添加如下代碼（前提項目已logback-spring.xml爲日誌配置文件）：

    <!--logstash配置-->
    <appender name="STASH_PRO" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>192.168.11.53:4560</destination>
        <!-- 編碼器 -->
        <encoder class="net.logstash.logback.encoder.LogstashEncoder"/>
        <providers>
            <timestamp>
                <timeZone>UTC</timeZone>
            </timestamp>
            <pattern>
                <pattern>
                    {
                        "severity":"%level",
                        "service": "${springAppName:-}",
                        "trace": "%X{X-B3-TraceId:-}",
                        "span": "%X{X-B3-SpanId:-}",
                        "exportable": "%X{X-Span-Export:-}",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{50}",
                        "rest": "%message"
                    }
                </pattern>
            </pattern>
        </providers>
        <!--  索引名-->
        <customFields>{"appname":"hty-b2c-service"}</customFields>
    </appender>


    <!--    生產環境:輸出到文件-->
    <springProfile name="pro">
        <root level="info">
            <appender-ref ref="DEBUG_FILE" />
            <appender-ref ref="INFO_FILE" />
            <appender-ref ref="ERROR_FILE" />
            <appender-ref ref="WARN_FILE" />
            <appender-ref ref="STASH_PRO" />
        </root>
        <root level="error">
            <appender-ref ref="ERROR_FILE" />
        </root>
        <root level="warn">
            <appender-ref ref="WARN_FILE" />
        </root>
        <root level="debug">
            <appender-ref ref="DEBUG_FILE"/>
        </root>
    </springProfile>

--pom文件引入依賴：

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>4.11</version>
</dependency>

然後再重啓java微服務。

成功的截圖，es自動創建了服務的索引，接下來就是kibana的一些查詢操作了。

文章末尾附上一份完整的logback.xml配置文件：

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false">
    <springProperty scope="context" name="springAppName" source="spring.application.name" />

    <!--web信息 -->
    <include resource="org/springframework/boot/logging/logback/base.xml" />
    <property name="LOG_PATH" value="${user.dir}/logs/b2c"/>
    <!-- 彩色日誌 -->
    <!-- 彩色日誌依賴的渲染類 -->
    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter" />
    <conversionRule conversionWord="wex" converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter" />
    <conversionRule conversionWord="wEx" converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter" />
    <!-- 彩色日誌格式 -->
    <!--<property name="CONSOLE_LOG_PATTERN" value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(-&#45;&#45;){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>-->
    <property name="CONSOLE_LOG_PATTERN" value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(%X{X-B3-TraceId:-}){cyan} %clr(%X{X-B3-SpanId:-}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>


    <!--輸出到控制檯-->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <!--此日誌appender是爲開發使用，只配置最底級別，控制檯輸出的日誌級別是大於或等於此級別的日誌信息-->
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>info</level>
        </filter>
        <encoder>
            <Pattern>${CONSOLE_LOG_PATTERN}</Pattern>
            <!-- 設置字符集 -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>


    <!--輸出到文件-->

    <!-- 時間滾動輸出 level爲 DEBUG 日誌 -->
    <appender name="DEBUG_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 正在記錄的日誌文件的路徑及文件名 -->
<!--        <file>${LOG_PATH}/log_debug.log</file>-->
        <!--日誌文件輸出格式-->
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
            <charset>UTF-8</charset> <!-- 設置字符集 -->
        </encoder>
        <!-- 日誌記錄器的滾動策略，按日期，按大小記錄 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 日誌歸檔 -->
            <fileNamePattern>${LOG_PATH}/debug/log-debug-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <maxFileSize>100MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
            <!--日誌文件保留天數-->
            <maxHistory>30</maxHistory>
        </rollingPolicy>
        <!-- 此日誌文件只記錄debug級別的 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>debug</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>

    <!-- 時間滾動輸出 level爲 INFO 日誌 -->
    <appender name="INFO_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 正在記錄的日誌文件的路徑及文件名 -->
<!--        <file>${LOG_PATH}/log_info.log</file>-->
        <!--日誌文件輸出格式-->
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
            <charset>UTF-8</charset>
        </encoder>
        <!-- 日誌記錄器的滾動策略，按日期，按大小記錄 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 每天日誌歸檔路徑以及格式 -->
            <fileNamePattern>${LOG_PATH}/info/log-info-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <maxFileSize>100MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
            <!--日誌文件保留天數-->
            <maxHistory>30</maxHistory>
        </rollingPolicy>
        <!-- 此日誌文件只記錄info級別的 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>info</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>

    <!-- 時間滾動輸出 level爲 WARN 日誌 -->
    <appender name="WARN_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 正在記錄的日誌文件的路徑及文件名 -->
<!--        <file>${LOG_PATH}/log_warn.log</file>-->
        <!--日誌文件輸出格式-->
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
            <charset>UTF-8</charset> <!-- 此處設置字符集 -->
        </encoder>
        <!-- 日誌記錄器的滾動策略，按日期，按大小記錄 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${LOG_PATH}/warn/log-warn-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <maxFileSize>100MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
            <!--日誌文件保留天數-->
            <maxHistory>30</maxHistory>
        </rollingPolicy>
        <!-- 此日誌文件只記錄warn級別的 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>warn</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>


    <!-- 時間滾動輸出 level爲 ERROR 日誌 -->
    <appender name="ERROR_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 正在記錄的日誌文件的路徑及文件名 -->
<!--        <file>${LOG_PATH}/log_error.log</file>-->
        <!--日誌文件輸出格式-->
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
            <charset>UTF-8</charset> <!-- 此處設置字符集 -->
        </encoder>
        <!-- 日誌記錄器的滾動策略，按日期，按大小記錄 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${LOG_PATH}/error/log-error-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <maxFileSize>100MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
            <!--日誌文件保留天數-->
            <maxHistory>30</maxHistory>
        </rollingPolicy>
        <!-- 此日誌文件只記錄ERROR級別的 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>error</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>

    <!--logstash配置-->
    <appender name="STASH_PRO" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>192.168.31.53:4560</destination>
        <!-- 編碼器 -->
        <encoder class="net.logstash.logback.encoder.LogstashEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                            "severity":"%level",
                            "service": "${springAppName:-}",
                            "trace": "%X{X-B3-TraceId:-}",
                            "span": "%X{X-B3-SpanId:-}",
                            "exportable": "%X{X-Span-Export:-}",
                            "pid": "${PID:-}",
                            "thread": "%thread",
                            "class": "%logger{40}",
                            "rest": "%message"
                        }
                    </pattern>
                </pattern>
            </providers>
            <!--  索引名-->
            <customFields>{"appname":"hty-b2c-service"}</customFields>
        </encoder>

    </appender>

    <!--
        <logger>用來設置某一個包或者具體的某一個類的日誌打印級別、
        以及指定<appender>。<logger>僅有一個name屬性，
        一個可選的level和一個可選的addtivity屬性。
        name:用來指定受此logger約束的某一個包或者具體的某一個類。
        level:用來設置打印級別，大小寫無關：TRACE, DEBUG, INFO, WARN, ERROR, ALL 和 OFF，
              還有一個特俗值INHERITED或者同義詞NULL，代表強制執行上級的級別。
              如果未設置此屬性，那麼當前logger將會繼承上級的級別。
        addtivity:是否向上級logger傳遞打印信息。默認是true。
    -->
    <!--<logger name="org.springframework.web" level="info"/>-->
    <!--<logger name="org.springframework.scheduling.annotation.ScheduledAnnotationBeanPostProcessor" level="INFO"/>-->
    <!--
        使用mybatis的時候，sql語句是debug下才會打印，而這裏我們只配置了info，所以想要查看sql語句的話，有以下兩種操作：
        第一種把<root level="info">改成<root level="DEBUG">這樣就會打印sql，不過這樣日誌那邊會出現很多其他消息
        第二種就是單獨給dao下目錄配置debug模式，代碼如下，這樣配置sql語句會打印，其他還是正常info級別：
     -->


    <!--
        root節點是必選節點，用來指定最基礎的日誌輸出級別，只有一個level屬性
        level:用來設置打印級別，大小寫無關：TRACE, DEBUG, INFO, WARN, ERROR, ALL 和 OFF，
        不能設置爲INHERITED或者同義詞NULL。默認是DEBUG
        可以包含零個或多個元素，標識這個appender將會添加到這個logger。
    -->

    <!--開發環境:打印控制檯-->
    <springProfile name="dev">
        <logger name="com.hty.b2c.mapper" level="debug"/>
    </springProfile>

    <root level="info">
<!--        <appender-ref ref="CONSOLE" />-->
        <appender-ref ref="DEBUG_FILE" />
        <appender-ref ref="INFO_FILE" />
        <appender-ref ref="WARN_FILE" />
        <appender-ref ref="ERROR_FILE" />
    </root>

   
<!--    生產環境:輸出到文件-->
    <springProfile name="pro">
        <root level="info">
<!--            <appender-ref ref="CONSOLE" />-->
            <appender-ref ref="DEBUG_FILE" />
            <appender-ref ref="INFO_FILE" />
            <appender-ref ref="ERROR_FILE" />
            <appender-ref ref="WARN_FILE" />
            <appender-ref ref="STASH_PRO" />
        </root>
        <root level="error">
            <appender-ref ref="ERROR_FILE" />
        </root>
        <root level="warn">
            <appender-ref ref="WARN_FILE" />
        </root>
        <root level="debug">
            <appender-ref ref="DEBUG_FILE"/>
        </root>
    </springProfile>


</configuration>

spring cloud搭建elk

一、安裝前準備

1.elasticsearch-6.2.2 (存儲日誌數據)

2.logstash-6.2.2（收集日誌數據）

3.kibana-6.2.2（顯示日誌數據）

二、開始安裝

1.elasticsearch 安裝

2.logstash 安裝

3.kibana 安裝

三、修改每個java微服務的logback-spring.xml 日誌文件

Nginx R31 doc 官方文檔-01-nginx 如何安裝

挑戰程序設計競賽 2.2章習題 POJ - 3617 Best Cow Line 貪心

字節面試：MySQL什麼時候鎖表？如何防止鎖表？

.NET8連接SQL SERVER 2008 R2 報：證書鏈是由不受信任的頒發機構頒發的

golang開發環境搭建(win10)

python計算機視覺學習筆記——PIL庫的用法

申請ios證書併發布uniapp軟件

elasticsearch集羣（多機版）

Elasticsearch數據遷移（使用快照）

centos7下安裝FastDFS分佈式文件存儲系統

nginx配置https，並設置代理轉發

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結