一. 簡介

1.1 概述

XXL-JOB是一個輕量級分佈式任務調度平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼並接入多家公司線上產品線，開箱即用。

1.2 特性

1、簡單：支持通過Web頁面對任務進行CRUD操作，操作簡單，一分鐘上手；
2、動態：支持動態修改任務狀態、啓動/停止任務，以及終止運行中任務，即時生效；
3、調度中心HA（中心式）：調度採用中心式設計，“調度中心”自研調度組件並支持集羣部署，可保證調度中心HA；
4、執行器HA（分佈式）：任務分佈式執行，任務"執行器"支持集羣部署，可保證任務執行HA；
5、註冊中心: 執行器會週期性自動註冊任務, 調度中心將會自動發現註冊的任務並觸發執行。同時，也支持手動錄入執行器地址；
6、彈性擴容縮容：一旦有新執行器機器上線或者下線，下次調度時將會重新分配任務；
7、路由策略：執行器集羣部署時提供豐富的路由策略，包括：第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等；
8、故障轉移：任務路由策略選擇"故障轉移"情況下，如果執行器集羣中某一臺機器故障，將會自動Failover切換到一臺正常的執行器發送調度請求。
9、阻塞處理策略：調度過於密集執行器來不及處理時的處理策略，策略包括：單機串行（默認）、丟棄後續調度、覆蓋之前調度；
10、任務超時控制：支持自定義任務超時時間，任務運行超時將會主動中斷任務；
11、任務失敗重試：支持自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；其中分片任務支持分片粒度的失敗重試；
12、任務失敗告警；默認提供郵件方式失敗告警，同時預留擴展接口，可方便的擴展短信、釘釘等告警方式；
13、分片廣播任務：執行器集羣部署時，任務路由策略選擇"分片廣播"情況下，一次任務調度將會廣播觸發集羣中所有執行器執行一次任務，可根據分片參數開發分片任務；
14、動態分片：分片廣播任務以執行器爲維度進行分片，支持動態擴容執行器集羣從而動態增加分片數量，協同進行業務處理；在進行大數據量業務操作時可顯著提升任務處理能力和速度。
15、事件觸發：除了"Cron方式"和"任務依賴方式"觸發任務執行之外，支持基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務，可根據業務事件靈活觸發。
16、任務進度監控：支持實時監控任務進度；
17、Rolling實時日誌：支持在線查看調度結果，並且支持以Rolling方式實時查看執行器輸出的完整的執行日誌；
18、GLUE：提供Web IDE，支持在線開發任務邏輯代碼，動態發佈，實時編譯生效，省略部署上線的過程。支持30個版本的歷史版本回溯。
19、腳本任務：支持以GLUE模式開發和運行腳本任務，包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本;
20、命令行任務：原生提供通用命令行任務Handler（Bean任務，"CommandJobHandler"）；業務方只需要提供命令行即可；
21、任務依賴：支持配置子任務依賴，當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔；
22、一致性：“調度中心”通過DB鎖保證集羣分佈式調度的一致性, 一次任務調度只會觸發一次執行；
23、自定義任務參數：支持在線配置調度任務入參，即時生效；
24、調度線程池：調度系統多線程觸發調度運行，確保調度精確執行，不被堵塞；
25、數據加密：調度中心和執行器之間的通訊進行數據加密，提升調度信息安全性；
26、郵件報警：任務失敗時支持郵件報警，支持配置多郵件地址羣發報警郵件；
27、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;
28、運行報表：支持實時查看運行數據，如任務數量、調度次數、執行器數量等；以及調度報表，如調度日期分佈圖，調度成功分佈圖等；
29、全異步：任務調度流程全異步化設計實現，如異步調度、異步運行、異步回調等，有效對密集調度進行流量削峯，理論上支持任意時長任務的運行；
30、跨平臺：原生提供通用HTTP任務Handler（Bean任務，"HttpJobHandler"）；業務方只需要提供HTTP鏈接即可，不限制語言、平臺；
31、國際化：調度中心支持國際化設置，提供中文、英文兩種可選語言，默認爲中文；
32、容器化：提供官方docker鏡像，並實時更新推送dockerhub，進一步實現產品開箱即用；
33、線程池隔離：調度線程池進行隔離拆分，慢任務自動降級進入"Slow"線程池，避免耗盡調度線程，提高系統穩定性；
34、用戶管理：支持在線管理系統用戶，存在管理員、普通用戶兩種角色；
35、權限控制：執行器維度進行權限控制，管理員擁有全量權限，普通用戶需要分配執行器權限後才允許相關操作；

官網信息點此跳轉

二. SpringBoot集成xxl-job實例

環境:

JDK: 1.8
SpringBoot: 2.1.9.RELEASE
Maven: 3.6.1
xxl-job: 2.1.0
mysql: 5.7.25

2.1 下載xxl-job工程

下載地址: Git地址, Gitee地址: 兩個地址內容相同,用gitee下載快一些.

2.2 打開項目,會看到3個子工程: xxl-job-admin,xxi-job-core,xxl-job-executor-samples

xxl-job-admin: xxl-job調度平臺的管理平臺

xxi-job-core: xxl-job核心代碼,其他項目依賴於此項目,我們在自己項目中使用時也需要導入此項目

xxl-job-executor-samples: 此工程包含不同框架的使用demo

2.3 啓動調度平臺

2.3.1 導入數據庫腳本

把doc/db下的tables_xxl_job.sql導入自己的數據庫中

2.3.2 修改xxl-job-admin的配置文件

主要需要修改的地方:

數據庫連接信息 (application.properties)
email信息 (application.properties)
日誌生成路徑 (logback.xml)

### web
server.port=8080
server.context-path=/xxl-job-admin

### resources
spring.mvc.static-path-pattern=/static/**
spring.resources.static-locations=classpath:/static/

### freemarker
spring.freemarker.templateLoaderPath=classpath:/templates/
spring.freemarker.suffix=.ftl
spring.freemarker.charset=UTF-8
spring.freemarker.request-context-attribute=request
spring.freemarker.settings.number_format=0.##########

### mybatis
mybatis.mapper-locations=classpath:/mybatis-mapper/*Mapper.xml

### xxl-job, datasource
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?Unicode=true&characterEncoding=UTF-8
spring.datasource.username=xx
spring.datasource.password=xx
spring.datasource.driver-class-name=com.mysql.jdbc.Driver

spring.datasource.type=org.apache.tomcat.jdbc.pool.DataSource
spring.datasource.tomcat.max-wait=10000
spring.datasource.tomcat.max-active=30
spring.datasource.tomcat.test-on-borrow=true
spring.datasource.tomcat.validation-query=SELECT 1
spring.datasource.tomcat.validation-interval=30000

## xxl-job email
spring.mail.host=smtp.qq.com
spring.mail.port=25
[email protected]
spring.mail.password=xx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory

### xxl-job, access token
xxl.job.accessToken=

### xxl-job, i18n (default empty as chinese, "en" as english)
xxl.job.i18n=

2.4 啓動調度平臺

運行xxl-job-admin工程,瀏覽器訪問http://localhost:8080/xxl-job-admin

賬號: admin

密碼: 123456

2.5 編寫job-test工程

2.5.1 新建一個SpringBoot工程

引入xxl-job-core包

<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>2.1.0</version>
</dependency>

2.5.2 編輯application.properties文件

xxl.job.admin.addresses 調度平臺地址
xxl.job.executor.appname 註冊到調度平臺的名稱
xxl.job.executor.logpath 日誌儲存路徑


server.port=9001

### 調度中心部署跟地址 [選填]：如調度中心集羣部署存在多個地址則用逗號分隔。執行器將會使用該地址進行"執行器心跳註冊"和"任務結果回調"；爲空則關閉自動註冊；
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin

### 執行器AppName [選填]：執行器心跳註冊分組依據；爲空則關閉自動註冊
xxl.job.executor.appname=job-test

### 執行器IP [選填]：默認爲空表示自動獲取IP，多網卡時可手動設置指定IP，該IP不會綁定Host僅作爲通訊實用；地址信息用於 "執行器註冊" 和 "調度中心請求並觸發任務"；
xxl.job.executor.ip=

### 執行器端口號 [選填]：小於等於0則自動獲取；默認端口爲9999，單機部署多個執行器時，注意要配置不同執行器端口；
xxl.job.executor.port=9998

### 執行器通訊TOKEN [選填]：非空時啓用；
xxl.job.accessToken=

### 執行器運行日誌文件存儲磁盤路徑 [選填] ：需要對該路徑擁有讀寫權限；爲空則使用默認路徑；
xxl.job.executor.logpath=/Users/mqs/JavaProjects/xxl-job/log/jobhandler

### 執行器日誌保存天數 [選填] ：值大於3時生效，啓用執行器Log文件定期清理功能，否則不生效；
xxl.job.executor.logretentiondays=-1

2.5.3 編輯XxlJobConfig.java文件

可以從xxl-job-executor-samples的xxl-job-executor-sample-springboot項目中copy

package com.mqs.config;

import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * @Description
 * @Author MQS
 * @Date 2019-10-09 15:32
 */
@Configuration
public class XxlJobConfig {

    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.executor.appname}")
    private String appName;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;


    @Bean(initMethod = "start", destroyMethod = "destroy")
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppName(appName);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }

    /**
     * 針對多網卡、容器內部署等情況，可藉助 "spring-cloud-commons" 提供的 "InetUtils" 組件靈活定製註冊IP；
     *
     *      1、引入依賴：
     *          <dependency>
     *             <groupId>org.springframework.cloud</groupId>
     *             <artifactId>spring-cloud-commons</artifactId>
     *             <version>${version}</version>
     *         </dependency>
     *
     *      2、配置文件，或者容器啓動變量
     *          spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
     *
     *      3、獲取IP
     *          String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
     */
}

2.5.4 編輯調度任務示例

注意: JobHandler的value值必填,否則調度平臺無法識別

package com.mqs.job;

import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import com.xxl.job.core.handler.annotation.JobHandler;
import org.springframework.stereotype.Component;

import java.io.Serializable;

/**
 * @Description
 * @Author MQS
 * @Date 2019-10-09 15:34
 */
@JobHandler(value = "demoJobHandler")
@Component
public class DemoJobHandler extends IJobHandler implements Serializable {
    @Override
    public ReturnT<String> execute(String s) throws Exception {
        System.out.println("Hello World-------");
        return SUCCESS;
    }
}

2.5.5 啓動job-test工程

2.6 在調度平臺中調用

2.6.1 在執行器管理中新增執行器

AppName: 爲job-test註冊到調度平臺的name

名稱: 自定義

排序: 自定義

註冊方式: 選擇自動註冊

2.6.2 在任務管理中新增任務

JobHandler: 填入前面提到的value值

2.6.3 啓動

保存任務後,啓動任務

可以看到job-test的控制檯輸出

任務平臺的調度日誌

三 .總結

使用時一定要注意xxl-job-admin和xxl-job-core的版本問題,其他的就沒要太大問題

xxl-job任務調度中心使用

一. 簡介

1.1 概述

1.2 特性

二. SpringBoot集成xxl-job實例

環境:

2.1 下載xxl-job工程

2.2 打開項目,會看到3個子工程: xxl-job-admin,xxi-job-core,xxl-job-executor-samples

2.3 啓動調度平臺

2.4 啓動調度平臺

2.5 編寫job-test工程

2.6 在調度平臺中調用

三 .總結

python3-Flask實現Api接口

xxl-job任務調度中心使用

Python3 正則表達式基礎

VMware Workstation Pro安裝Centos7虛擬機和網絡配置（可設置固定ip）

zookeeper集羣搭建（Centos 7虛擬機）

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結