一、分佈式任務調度概述

什麼是任務調度平臺

任務調度是指基於給定的時間點，給定的時間間隔又或者給定執行次數自動的執行任務。我們可以思考一下在以下場景中，我們應該怎麼實現：

支付系統每天凌晨 1 點，進行一天清算，每月 1 號進行上個月清算；
電商整點搶購，商品價格8點整開始優惠
12306 購票系統，超過 30 分鐘沒有成功支付訂單的，進行回收處理

爲什麼需要任務調度平臺

定時任務是程序員不可避免的話題，很多業務場景需要我們某一特定的時刻去做某件任務。一般來說，系統可以使用消息傳遞代替部分定時任務（比如商品成功發貨後，需要向客戶發送短信提醒），兩者有很多相似之處，一些場景下也可以相互替換，但是有一些不能：

時間驅動/ 事件驅動： 內部系統一般可以通過事件來驅動，但如果涉及到外部系統，則只能使用時間驅動。如爬取外部網站價格，每小時爬一次。
批量處理/ 逐條處理： 批量處理堆積的數據更加高效，在不需要實時性的情況下比消息中間件更有優勢。而且有的業務邏輯只能批量處理，如移動每個月結算我們的花費。
實時性/ 非實時性： 消息中間件能夠做到實時處理數據，但是有些情況下並不需要實時，比如：vip 升級。
系統內部/ 系統解耦： 定時任務調度一般是在系統內部，而消息中間件可用於兩個系統間

並且對於分佈式系統來說，如果處理不當，會存在同一系統不同節點之間定時任務相互影響的問題，再考慮上監控、日誌、信息面板，加上不同系統之間管理維護的問題，自己實現一套的成本又上來了..所以我們可以考慮一些比較成熟的任務調度平臺來使用。

任務調度框架選型

Java 領域主要分佈式調度系統如下：

xxl-job：是一個輕量級分佈式任務調度平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。
Elastic-Job：噹噹開源的分佈式調度解決方案，由兩個相互獨立的子項目Elastic-Job-Lite和Elastic-Job-Cloud組成；Elastic-Job-Lite定位爲輕量級無中心化解決方案，使用jar包的形式提供分佈式任務的協調服務；Elastic-Job-Cloud採用自研Mesos Framework的解決方案，額外提供資源治理、應用分發以及進程隔離等功能；
Saturn：是唯品會開源的一個分佈式任務調度平臺，在噹噹開源的Elastic Job基礎上，取代傳統的Linux Cron/Spring Batch Job的方式，做到全域統一配置，統一監控，任務高可用以及分片併發處理；
light-task-scheduler：阿里員工開源的個人項目,主要用於解決分佈式任務調度問題，支持實時任務，定時任務和Cron任務。有較好的伸縮性，擴展性，健壯穩定性
Quartz: Java定時任務的標配。利用數據庫的鎖機制實現集羣調度，業務代碼需要考慮調度的邏輯，對業務代碼有入侵。

在這之前，我是一個都不知道的..有很多文章對他們進行對比，我們就參考其中一篇（下 2），選擇熱門且成熟的 XXL-JOB 來上手研究一下。

二、XXL-JOB

概述

官方中文文檔：http://www.xuxueli.com/xxl-job/

XXL-JOB是一個輕量級分佈式任務調度平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼並接入多家公司線上產品線，開箱即用。

快速入門 - 本地運行

先定個小目標，先把它在本地跑起來先。

第一步：下載代碼到本地

找一個合適的目錄，然後執行下列語句把代碼下載到本地：

$ git clone https://github.com/xuxueli/xxl-job.git

第二步：執行初始化 SQL，再用 IDEA 打開

找到 /xxl-job/doc/db/table_xxl_job.sql 初始化 SQL 腳本，並在本地執行。

然後按照 Maven 格式將源碼導入 IDEA，源碼結構如下：

xxl-job-admin：調度中心
xxl-job-core：公共依賴
xxl-job-executor-samples：執行器Sample示例（選擇合適的版本執行器，可直接使用，也可以參考其並將現有項目改造成執行器）
    ：xxl-job-executor-sample-springboot：Springboot版本，通過Springboot管理執行器，推薦這種方式；
    ：xxl-job-executor-sample-spring：Spring版本，通過Spring容器管理執行器，比較通用；
    ：xxl-job-executor-sample-frameless：無框架版本；
    ：xxl-job-executor-sample-jfinal：JFinal版本，通過JFinal管理執行器；
    ：xxl-job-executor-sample-nutz：Nutz版本，通過Nutz管理執行器；

第三步：配置並啓動 "調度中心"

調度中心配置文件地址：

/xxl-job/xxl-job-admin/src/main/resources/xxl-job-admin.properties

調度中心配置內容說明：

### 調度中心JDBC鏈接：鏈接地址請保持和初始化時創建的數據庫保持一致
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?Unicode=true&characterEncoding=UTF-8
spring.datasource.username=root
spring.datasource.password=root_pwd
spring.datasource.driver-class-name=com.mysql.jdbc.Driver

### 報警郵箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
[email protected]
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory

### xxl-job, access token
xxl.job.accessToken=

### xxl-job, i18n (default empty as chinese, "en" as english)
xxl.job.i18n=

在第一次啓動的項目的時候可能會遇到找不到 log 文件的錯誤（Failed to create），我們只需要自己手動創建一下就好了，具體可以參照這篇文章：https://blog.csdn.net/leeue/article/details/100779424，記得之後再手動把當前目錄權限置爲可寫狀態哦：sudo chmod 777 xxl-job

當一切配置好了之後，我們就可以啓動項目了，調度中心訪問地址：http://localhost:8080/xxl-job-admin（該地址執行期將會使用到，作爲回調地址），默認登錄賬號 "admin/123456"，登錄後運行界面如下圖所示：

至此，「調度中心」項目已經部署成功了，調度中心集羣（可選）配置可參考官方文檔。

第四步：配置啓動"執行器"

執行器配置，配置文件地址：

/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/resources/application.properties

執行器配置，配置內容說明：

### 調度中心部署跟地址 [選填]：如調度中心集羣部署存在多個地址則用逗號分隔。執行器將會使用該地址進行"執行器心跳註冊"和"任務結果回調"；爲空則關閉自動註冊；
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin

### 執行器AppName [選填]：執行器心跳註冊分組依據；爲空則關閉自動註冊
xxl.job.executor.appname=xxl-job-executor-sample

### 執行器IP [選填]：默認爲空表示自動獲取IP，多網卡時可手動設置指定IP，該IP不會綁定Host僅作爲通訊實用；地址信息用於 "執行器註冊" 和 "調度中心請求並觸發任務"；
xxl.job.executor.ip=

### 執行器端口號 [選填]：小於等於0則自動獲取；默認端口爲9999，單機部署多個執行器時，注意要配置不同執行器端口；
xxl.job.executor.port=9999

### 執行器通訊TOKEN [選填]：非空時啓用；(注意與調度中心保持一致)
xxl.job.accessToken=

### 執行器運行日誌文件存儲磁盤路徑 [選填] ：需要對該路徑擁有讀寫權限；爲空則使用默認路徑；
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler

### 執行器日誌保存天數 [選填] ：值大於3時生效，啓用執行器Log文件定期清理功能，否則不生效；
xxl.job.executor.logretentiondays=-1

同樣，也要注意一下日誌文件的創建和權限問題，解決方法同上。

當配置完成之後運行起來，我們就可以在剛纔的任務調度中心的主頁，在右上角的「執行器的數量」上 + 1 了。

第五步：開發第一個任務

當「調度中心」和「執行器」都啓動之後，我們可以直接在「調度中心」的任務管理界面新增一條配置如下圖所示（參考）的任務：

我們點擊「操作」按鈕下的「GLUE IDE」可以手動編寫我們要執行的腳本，我們可以把我們的任務代碼改寫成如下的樣子：

package com.xxl.job.service.handler;

import com.xxl.job.core.log.XxlJobLogger;
import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import java.util.concurrent.TimeUnit;

public class DemoGlueJobHandler extends IJobHandler {

    @Override
    public ReturnT<String> execute(String param) throws Exception {
        XxlJobLogger.log("XXL-JOB, Hello World.");
        for (int i = 0; i < 5; i++) {
            XxlJobLogger.log("beat at:" + i);
            TimeUnit.SECONDS.sleep(2);
        }
        return SUCCESS;
    }
}

點擊「保存」，然後繼續在「操作」按鈕下點擊「執行一次」的操作，就可以在「調度日誌」中看到我們的任務執行情況啦：

可以看到默認執行器中的日誌輸出了：

回頭理解一下過程

到目前爲止，我們整個搭建運行的過程都比較順滑，沒有出現什麼阻礙，現在我們稍微來理解一下這個過程。

首先我們在本地初始化了框架提供的 SQL 語句，裏面定義的結構足夠我們不管是單機還是分佈式的任務管理需求。然後我們簡單配置了一下連接的數據庫、報警郵件、token 等信息成功啓動了「調度中心」項目。這個時候項目中默認註冊一個名字爲 xxl-job-exectutor-sample 的執行器（名字同默認執行器的 AppName），並且採用的是自動註冊的方式。

等我們把執行器配置項裏的 xxl,job.admin.addresses 填寫上「調度中心」實際的地址，然後 token 保持與「調度中心」一致，啓動執行器時，執行器就會把自身的一些基礎信息發送給「調度中心」，這時候「調度中心」會把接收到的註冊信息與自身註冊列表裏的 AppName 進行對比（AppName 是每一個執行器的唯一標示），有匹配時就會把 ip 自動填寫上（多個節點就寫多個地址），並在 xxl_job_registry 表上更新信息。執行器可以簡單理解爲項目內嵌了端口爲 9999（默認端口）的一個 Server。（架構圖如下）

任務 "運行模式"

在剛纔的「快速入門」中，我們新建了一個「GLUE模式(Java)」模式的任務，我們在新建任務時可以直接在「調度中心」上編輯代碼，然後讓我們的 ”執行器“ 執行，這樣的一種模式是把代碼直接放在「調度中心」的做法，它的原理是：每個 "GLUE模式(Java)" 任務的代碼，實際上是“一個繼承自 “IJobHandler” 的實現類的類代碼”，“執行器”接收到“調度中心”的調度請求時，會通過 Groovy 類加載器加載此代碼，實例化成 Java 對象，同時注入此代碼中聲明的 Spring 服務（請確保 Glue 代碼中的服務和類引用在“執行器”項目中存在），然後調用該對象的 execute 方法，執行任務邏輯。

另外一種方式是你提前把代碼寫進「執行器」程序中，這樣的模式在 XXL-JOB 中叫做「Bean模式」：每個 Bean 模式任務都是一個 Spring 的 Bean 類實例，它被維護在“執行器”項目的 Spring 容器中。任務類需要加 “@JobHandler(value="名稱")” 註解，因爲“執行器”會根據該註解識別 Spring 容器中的任務。任務類需要繼承統一接口 “IJobHandler”，任務邏輯在 execute 方法中開發，因爲“執行器”在接收到調度中心的調度請求時，將會調用 “IJobHandler” 的 execute 方法，執行任務邏輯。

例如在 XXL-JOB 提供的實例代碼中就有下面這麼一段兒：

package com.xxl.job.executor.service.jobhandler;

import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import com.xxl.job.core.handler.annotation.JobHandler;
import com.xxl.job.core.log.XxlJobLogger;
import org.springframework.stereotype.Component;

import java.util.concurrent.TimeUnit;


/**
 * 任務Handler示例（Bean模式）
 *
 * 開發步驟：
 * 1、繼承"IJobHandler"：“com.xxl.job.core.handler.IJobHandler”；
 * 2、註冊到Spring容器：添加“@Component”註解，被Spring容器掃描爲Bean實例；
 * 3、註冊到執行器工廠：添加“@JobHandler(value="自定義jobhandler名稱")”註解，註解value值對應的是調度中心新建任務的JobHandler屬性的值。
 * 4、執行日誌：需要通過 "XxlJobLogger.log" 打印執行日誌；
 *
 * @author xuxueli 2015-12-19 19:43:36
 */
@JobHandler(value="demoJobHandler")
@Component
public class DemoJobHandler extends IJobHandler {

    @Override
    public ReturnT<String> execute(String param) throws Exception {
        XxlJobLogger.log("XXL-JOB, Hello World.");

        for (int i = 0; i < 5; i++) {
            XxlJobLogger.log("beat at:" + i);
            TimeUnit.SECONDS.sleep(2);
        }
        return SUCCESS;
    }
}

我們就能在創建任務時直接按照下圖這樣創建，那麼在調用任務時，"執行器" 就能夠如願的執行上面的邏輯：

當然 XXL-JOB 還能支持一些腳本語言類型的模式：

- shell腳本：任務運行模式選擇爲 "GLUE模式(Shell)"時支持 "shell" 腳本任務；
- python腳本：任務運行模式選擇爲 "GLUE模式(Python)"時支持 "python" 腳本任務；
- nodejs腳本：務運行模式選擇爲 "GLUE模式(NodeJS)"時支持 "nodejs" 腳本任務；

三、接入指南

前提：已經搭建併成功運行了「調度中心」服務。
快速接入

第一步，我們需要在 pom 文件中引入 xxl-job-core 的 Maven 依賴，不過比較奇怪的是，明明 Github 上最新版本是 2.1.1，Maven 倉庫上卻沒有最新的包，所以只能用 2.1.0 的：
```
<dependency>
  <groupId>com.xuxueli</groupId>
  <artifactId>xxl-job-core</artifactId>
  <version>2.1.0</version>
</dependency>
```
第二步，在配置文件中加入 xxl 相關的配置文件信息，不管 yml 格式還是 properties 都行，上面提供了 properties 的版本，這了就提供一個 yml 格式的作參考吧：

xxl:
  job:
    accessToken: xxxx
    admin:
      addresses: http://127.0.0.1:8080/xxl-job-admin
    executor:
      appname: test
      logpath: /data/applogs/xxl-job/jobhandler
      logretentiondays: -1
      ip:
      port: 9999

第三步，在合適的包目錄下新建 XxlJobConfig 配置類：

@Configuration
public class XxlJobConfig {
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.executor.appname}")
    private String appName;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;

    @Bean(initMethod = "start", destroyMethod = "destroy")
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppName(appName);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }

    /**
     * 針對多網卡、容器內部署等情況，可藉助 "spring-cloud-commons" 提供的 "InetUtils" 組件靈活定製註冊IP；
     *
     *      1、引入依賴：
     *          <dependency>
     *             <groupId>org.springframework.cloud</groupId>
     *             <artifactId>spring-cloud-commons</artifactId>
     *             <version>${version}</version>
     *         </dependency>
     *
     *      2、配置文件，或者容器啓動變量
     *          spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
     *
     *      3、獲取IP
     *          String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
     */
}

至此，我們的項目就差不多完成了我們的接入工作了，就只剩下開發 Handler 的工作量了。

第四步，建一個示例 DemoJobHandler 在平臺上自測一下：

@JobHandler(value="demoJobHandler")
@Component
public class DemoJobHandler extends IJobHandler {

    @Override
    public ReturnT<String> execute(String param) throws Exception {
        XxlJobLogger.log("XXL-JOB, Hello World.");

        for (int i = 0; i < 5; i++) {
            XxlJobLogger.log("beat at:" + i);
            TimeUnit.SECONDS.sleep(2);
        }
        return SUCCESS;
    }
}

然後我們可以啓動項目，看看「調度中心」是否已經成功註冊當前項目的「執行器」，再使用上面介紹的「新建任務」的方法，來測試一下是否正常接入。

小結

總體來說 XXL-JOB 非常的容易上手，並且官方提供了很友好的實例代碼，包括一些高級特性「分片」、「遠程調用」等多種任務都能夠很好的通過示例代碼理解和使用，這裏就不再詳細贅述了..官方文檔已經很完善了，感興趣的小夥伴可以去閱讀以下。
參考資料
https://www.expectfly.com/2017/08/15/%E5%88%86%E5%B8%83%E5%BC%8F%E5%AE%9A%E6%97%B6%E4%BB%BB%E5%8A%A1%E6%96%B9%E6%A1%88%E6%8A%80%E6%9C%AF%E9%80%89%E5%9E%8B/ - 分佈式定時任務調度系統選型
https://www.yzhu.name/2019/03/30/Schedule-Job/ - 分佈式調度系統選型
https://blog.csdn.net/qq924862077/article/details/82708610 - XXL-JOB原理--執行器註冊（二）

站內首發文章

lin502

發佈了42 篇原創文章 · 獲贊 33 · 訪問量 19萬+

私信關注

分佈式任務調度平臺XXL-JOB

一、分佈式任務調度概述

什麼是任務調度平臺

爲什麼需要任務調度平臺

任務調度框架選型

二、XXL-JOB

概述

快速入門 - 本地運行

第一步：下載代碼到本地

第二步：執行初始化 SQL，再用 IDEA 打開

第三步：配置並啓動 "調度中心"

第四步：配置啓動"執行器"

第五步：開發第一個任務

回頭理解一下過程

任務 "運行模式"

三、接入指南

快速接入

小結

參考資料

hive 兩列字符串拼接成一列和空字符串處理

hive 計算年齡

kylin計算兩列時間相差天數

kylin漢字亂碼問題

kylin 日期函數處理

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結