Spring Cloud集成XXL-job以及簡單封裝

本文源碼地址：源碼地址

說到分佈式定時任務，第一反應還是Quartz，畢竟是開源定時任務的大佬。相對來說也比較熟悉，是通過操作API的方式來進行操作。

但是今天我要介紹的是在國內的大佬在Quartz上面增強的的一個分佈式定時任務框架：XXL-Job。至於爲啥叫這個名字，是因爲作者名字叫許雪裏。

項目的地址：https://gitee.com/xuxueli0323/xxl-job

下面是大佬提供的Quartz和XXL-job的對比（原文參考：對比）

Quartz的不足

問題一：調用API的的方式操作任務，不人性化；
問題二：需要持久化業務QuartzJobBean到底層數據表中，系統侵入性相當嚴重。
問題三：調度邏輯和QuartzJobBean耦合在同一個項目中，這將導致一個問題，在調度任務數量逐漸增多，同時調度任務邏輯逐漸加重的情況加，此時調度系統的性能將大大受限於業務；
問題四：quartz底層以“搶佔式”獲取DB鎖並由搶佔成功節點負責運行任務，會導致節點負載懸殊非常大；而XXL-JOB通過執行器實現“協同分配式”運行任務，充分發揮集羣優勢，負載各節點均衡。
XXL-JOB彌補了quartz的上述不足之處。

XXL-JOB特性

• 簡單：支持通過Web頁面對任務進行CRUD操作，操作簡單，一分鐘上手
• 動態：支持動態修改任務狀態、啓動/停止任務，以及終止運行中任務，即時生效
• 調度中心HA（中心式）：調度採用中心式設計，“調度中心”基於集羣Quartz實現並支持集羣部署，可保證調度中心HA
• 執行器HA（分佈式）：任務分佈式執行，任務"執行器"支持集羣部署，可保證任務執行HA
• 註冊中心: 執行器會週期性自動註冊任務, 調度中心將會自動發現註冊的任務並觸發執行。同時，也支持手動錄入執行器地址
• 彈性擴容縮容：一旦有新執行器機器上線或者下線，下次調度時將會重新分配任務
• 路由策略：執行器集羣部署時提供豐富的路由策略，包括：第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等
• 故障轉移：任務路由策略選擇"故障轉移"情況下，如果執行器集羣中某一臺機器故障，將會自動Failover切換到一臺正常的執行器發送調度請求。
• 阻塞處理策略：調度過於密集執行器來不及處理時的處理策略，策略包括：單機串行（默認）、丟棄後續調度、覆蓋之前調度
• 任務超時控制：支持自定義任務超時時間，任務運行超時將會主動中斷任務
• 任務失敗重試：支持自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；其中分片任務支持分片粒度的失敗重試
• 任務失敗告警；默認提供郵件方式失敗告警，同時預留擴展接口，可方便的擴展短信、釘釘等告警方式
• 分片廣播任務：執行器集羣部署時，任務路由策略選擇"分片廣播"情況下，一次任務調度將會廣播觸發集羣中所有執行器執行一次任務，可根據分片參數開發分片任務
• 動態分片：分片廣播任務以執行器爲維度進行分片，支持動態擴容執行器集羣從而動態增加分片數量，協同進行業務處理；在進行大數據量業務操作時可顯著提升任務處理能力和速度
• 事件觸發：除了"Cron方式"和"任務依賴方式"觸發任務執行之外，支持基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務，可根據業務事件靈活觸發
• 任務進度監控：支持實時監控任務進度
• Rolling實時日誌：支持在線查看調度結果，並且支持以Rolling方式實時查看執行器輸出的完整的執行日誌
• GLUE：提供Web IDE，支持在線開發任務邏輯代碼，動態發佈，實時編譯生效，省略部署上線的過程。支持30個版本的歷史版本回溯
• 腳本任務：支持以GLUE模式開發和運行腳本任務，包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本
• 命令行任務：原生提供通用命令行任務Handler（Bean任務，"CommandJobHandler"）；業務方只需要提供命令行即可
• 任務依賴：支持配置子任務依賴，當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔
• 一致性：“調度中心”通過DB鎖保證集羣分佈式調度的一致性, 一次任務調度只會觸發一次執行
• 自定義任務參數：支持在線配置調度任務入參，即時生效
• 調度線程池：調度系統多線程觸發調度運行，確保調度精確執行，不被堵塞
• 數據加密：調度中心和執行器之間的通訊進行數據加密，提升調度信息安全性
• 郵件報警：任務失敗時支持郵件報警，支持配置多郵件地址羣發報警郵件
• 推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用
• 運行報表：支持實時查看運行數據，如任務數量、調度次數、執行器數量等；以及調度報表，如調度日期分佈圖，調度成功分佈圖等
• 全異步：任務調度流程全異步化設計實現，如異步調度、異步運行、異步回調等，有效對密集調度進行流量削峯，理論上支持任意時長任務的運行
• 跨平臺：原生提供通用HTTP任務Handler（Bean任務，"HttpJobHandler"），業務方只需要提供HTTP鏈接即可，不限制語言、平臺
• 國際化：調度中心支持國際化設置，提供中文、英文兩種可選語言，默認爲中文
• 容器化：提供官方docker鏡像，並實時更新推送dockerhub，進一步實現產品開箱即用
• 線程池隔離：調度線程池進行隔離拆分，慢任務自動降級進入"Slow"線程池，避免耗盡調度線程，提高系統穩定性

下面說下集成思路，我個人比較習慣使用源碼集成，下面是大體的starter的項目結構圖

首先job-core-provider是直接拷貝的xxl-job-core。這個核心包沒有動。

job-admin-center是調度中心

首先配置文件修改：

server:
  port: 8666
  servlet:
    context-path: /xxl-job
  #數據源配置
spring:
  datasource:
    url: jdbc:mysql://127.0.0.1:3306/xxl_job?Unicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
    username: root
    password: 123456
    driver-class-name: com.mysql.jdbc.Driver
    type: com.zaxxer.hikari.HikariDataSource
    hikari:
      minimum-idle: 10
      maximum-pool-size: 30
      auto-commit: true
      idle-timeout: 30000
      pool-name: HikariCP
      max-lifetime: 900000
      connection-timeout: 10000
      connection-test-query: SELECT 1
  #郵箱配置
  mail:
    host: smtphz.qiye.163.com
    port: 994
    username: [email protected]
    password: zwass1314
    properties:
      mail:
        smtp:
          auth: true
          starttls:
            enable: true
            required: true
          socketFactory:
            class: javax.net.ssl.SSLSocketFactory
  #MVC配置
  mvc:
    servlet:
      load-on-startup: 0
    static-path-pattern: /static/**
  resources:
    static-locations: classpath:/static/
  #freemarker配置
  freemarker:
    templateLoaderPath=classpath: /templates/
    suffix: .ftl
    charset: UTF-8
    request-context-attribute: request
    settings:
      number_format: 0.##########
#通用配置，開放端點
management:
  server:
    servlet:
      context-path: /actuator
  health:
    mail:
      enabled: false
#mybatis配置
mybatis:
  mapper-locations: classpath:/mybatis-mapper/*Mapper.xml
#XXL-job配置
xxl:
  job:
    login:
      username: admin
      password: 123456
    accessToken:
    i18n: zh_CN
    #觸發池
    triggerpool:
      fast:
        max: 200
      slow:
        max: 100
    logretentiondays: 30

如果在微服務裏面，可以直接註冊到註冊中心上去，完成權限的統一認證。這裏暫時沒處理，只是改了幾個配置，還是保留單獨的驗證方式。

job-spring-boot-autoconfigure配置

   <dependencies>
        <dependency>
            <groupId>com.yzc</groupId>
            <artifactId>job-core-provider</artifactId>
            <version>${project.version}</version>
        </dependency>
        <!-- spring-boot-starter-web (spring-webmvc + tomcat) -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-configuration-processor</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-autoconfigure</artifactId>
        </dependency>
    </dependencies>

核心config配置

@Slf4j
public class XXLJobConfig {

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.executor.appname}")
    private String appName;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.accessToken}")
    private String accessToken;


    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        log.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppName(appName);
        if(StringUtils.isBlank(ip)){
            ip = getServerIp();
        }
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);

        return xxlJobSpringExecutor;
    }

    /**
     * 獲取本地IP
     * @return
     */
    private String getServerIp(){
        try {
            String ip =  InetAddress.getLocalHost().getHostAddress();
            log.info("Ip："+ip);
            return ip;
        }catch (Exception e){
            return null;
        }
    }
}

裝配指定

org.springframework.boot.autoconfigure.EnableAutoConfiguration=\
com.XXLJobConfig

這樣吧執行器就構造成了一個starter包，在需要引用的服務裏面引入starter

        <dependency>
            <groupId>com</groupId>
            <artifactId>job-spring-boot-starter</artifactId>
            <version>${project.version}</version>
        </dependency>

那麼構造定時任務有以下2種方式

1、實現接口的方式（已過期，因爲一個類不能支出多個定時任務）

@Component
@JobHandler(value = "demoHandler")
public class DemoHandler extends IJobHandler {

    @Override
    public ReturnT<String> execute(String param) throws Exception {
        System.out.println("1111");
        return null;
    }
}

2、純註解方式

@Component
public class Demo2Handler {

    @XxlJob(value = "demo2Job")
    public ReturnT<String> demo2JobHandler(String param) throws Exception{
        System.out.println("demo2");
        return ReturnT.SUCCESS;
    }

}

配置響應的參數

xxl:
  job:
    admin:
      addresses: http://127.0.0.1:8666/xxl-job
    executor:
      appname: ${spring.application.name}
      ip:
      port: 9999
    accessToken:

啓動調度和執行器