-
分佈式任務調度平臺XXL-JOB
什麼是定時任務?
指定時間去執行任務
Java實現定時任務方式?1.Thread
2.timerTask
3.springboot中@Scheduled註解
4.線程池中ScheduledExecutorService 定時線程
5.Quartz**
一.Thread
public class Demo01 {
static long count = 0;
public static void main(String[] args) {
Runnable runnable = new Runnable() {br/>@Override
public void run() {
while (true) {
try {
Thread.sleep(1000);
count++;
System.out.println(count);
} catch (Exception e) {
// TODO: handle exception
}
}
}
};
Thread thread = new Thread(runnable);
thread.start();
}
}
二.TimerTask
/**- 使用TimerTask類實現定時任務
*/
public class Demo02 {
static long count = 0;
public static void main(String[] args) {
TimerTask timerTask = new TimerTask() {@Override public void run() { count++; System.out.println(count); } }; Timer timer = new Timer(); // 天數 long delay = 0; // 秒數 long period = 1000; timer.scheduleAtFixedRate(timerTask, delay, period);
}
- 使用TimerTask類實現定時任務
}
三.ScheduledExecutorService
使用ScheduledExecutorService是從Java
JavaSE5的java.util.concurrent裏,做爲併發工具類被引進的,這是最理想的定時任務實現方式。
public class Demo003 {
public static void main(String[] args) {
Runnable runnable = new Runnable() {
public void run() {
// task to run goes here
System.out.println("Hello !!");
}
};
ScheduledExecutorService service = Executors.newSingleThreadScheduledExecutor();
// 第二個參數爲首次執行的延時時間,第三個參數爲定時執行的間隔時間
service.scheduleAtFixedRate(runnable, 1, 1, TimeUnit.SECONDS);
}
}
四.Quartz
創建一個quartz_demo項目
引入maven依賴
<dependencies>
<!-- quartz -->
<dependency>
<groupId>org.quartz-scheduler</groupId>
<artifactId>quartz</artifactId>
<version>2.2.1</version>
</dependency>
<dependency>
<groupId>org.quartz-scheduler</groupId>
<artifactId>quartz-jobs</artifactId>
<version>2.2.1</version>
</dependency>
</dependencies>***
任務調度類
public class MyJob implements Job {
public void execute(JobExecutionContext context) throws JobExecutionException {
System.out.println("quartz MyJob date:" + new Date().getTime());
}
}
啓動類
//1.創建Scheduler的工廠
SchedulerFactory sf = new StdSchedulerFactory();
//2.從工廠中獲取調度器實例
Scheduler scheduler = sf.getScheduler();
//3.創建JobDetail
JobDetail jb = JobBuilder.newJob(MyJob.class)
.withDescription("this is a ram job") //job的描述
.withIdentity("ramJob", "ramGroup") //job 的name和group
.build();
//任務運行的時間,SimpleSchedle類型觸發器有效
long time= System.currentTimeMillis() + 3*1000L; //3秒後啓動任務
Date statTime = new Date(time);
//4.創建Trigger
//使用SimpleScheduleBuilder或者CronScheduleBuilder
Trigger t = TriggerBuilder.newTrigger()
.withDescription("")
.withIdentity("ramTrigger", "ramTriggerGroup")
//.withSchedule(SimpleScheduleBuilder.simpleSchedule())
.startAt(statTime) //默認當前時間啓動
.withSchedule(CronScheduleBuilder.cronSchedule("0/2 ?")) //兩秒執行一次
.build();
//5.註冊任務和定時器
scheduler.scheduleJob(jb, t);
//6.啓動 調度器
scheduler.start();
** Quartz表達式**
表達式的網址:http://cron.qqe2.com/
進去之後
http://i2.51cto.com/images/blog/201804/23/1bcb54c6e97b1cff8b060fdf183d372f.png
選擇 每5秒執行一次的表達式 ,需要什麼自己配
**分佈式情況下定時任務會出現哪些問題?
分佈式集羣的情況下,怎麼保證定時任務不被重複執行**
分佈式定時任務解決方案:
# ①使用zookeeper實現分佈式鎖 缺點(需要創建臨時節點、和事件通知不易於擴展)
# ②使用配置文件做一個開關 缺點發布後,需要重啓
# ③數據庫唯一約束,缺點效率低
**# ④使用分佈式任務調度平臺 XXLJOB***
使用 XXLJOB的好處
使用傳統方式解決任務調度的缺點:
# 1.沒有容錯機制
# 2.不能解決高併發
# 3.資源沒有被利用**
使用分佈式任務調度平臺:
# 1.高可用
# 2.負載均衡
# 3.容錯機制
# 4.支持集羣
# 5.管理機制 報警方案
# 6.自動管理
#7.學習簡單等
XXLJOB介紹
1、簡單:支持通過Web頁面對任務進行CRUD操作,操作簡單,一分鐘上手;
2、動態:支持動態修改任務狀態、暫停/恢復任務,以及終止運行中任務,即時生效;
3、調度中心HA(中心式):調度採用中心式設計,“調度中心”基於集羣Quartz實現,可保證調度中心HA;
4、執行器HA(分佈式):任務分佈式執行,任務"執行器"支持集羣部署,可保證任務執行HA;
5、任務Failover:執行器集羣部署時,任務路由策略選擇"故障轉移"情況下調度失敗時將會平滑切換執行器進行Failover;
6、一致性:“調度中心”通過DB鎖保證集羣分佈式調度的一致性, 一次任務調度只會觸發一次執行;
7、自定義任務參數:支持在線配置調度任務入參,即時生效;
8、調度線程池:調度系統多線程觸發調度運行,確保調度精確執行,不被堵塞;
9、彈性擴容縮容:一旦有新執行器機器上線或者下線,下次調度時將會重新分配任務;
10、郵件報警:任務失敗時支持郵件報警,支持配置多郵件地址羣發報警郵件;
11、狀態監控:支持實時監控任務進度;
12、Rolling執行日誌:支持在線查看調度結果,並且支持以Rolling方式實時查看執行器輸出的完整的執行日誌;
13、GLUE:提供Web IDE,支持在線開發任務邏輯代碼,動態發佈,實時編譯生效,省略部署上線的過程。支持30個版本的歷史版本回溯。
14、數據加密:調度中心和執行器之間的通訊進行數據加密,提升調度信息安全性;
15、任務依賴:支持配置子任務依賴,當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔;
16、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;
17、任務註冊: 執行器會週期性自動註冊任務, 調度中心將會自動發現註冊的任務並觸發執行。同時,也支持手動錄入執行器地址;
18、路由策略:執行器集羣部署時提供豐富的路由策略,包括:第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等;
19、運行報表:支持實時查看運行數據,如任務數量、調度次數、執行器數量等;以及調度報表,如調度日期分佈圖,調度成功分佈圖等;
20、腳本任務:支持以GLUE模式開發和運行腳本任務,包括Shell、Python等類型腳本;
21、阻塞處理策略:調度過於密集執行器來不及處理時的處理策略,策略包括:單機串行(默認)、丟棄後續調度、覆蓋之前調度;
22、失敗處理策略;調度失敗時的處理策略,策略包括:失敗告警(默認)、失敗重試;
23、分片廣播任務:執行器集羣部署時,任務路由策略選擇"分片廣播"情況下,一次任務調度將會廣播觸發對應集羣中所有執行器執行一次任務,同時傳遞分片參數;可根據分片參數開發分片任務;
24、動態分片:分片廣播任務以執行器爲維度進行分片,支持動態擴容執行器集羣從而動態增加分片數量,協同進行業務處理;在進行大數據量業務操作時可顯著提升任務處理能力和速度。
25、事件觸發:除了"Cron方式"和"任務依賴方式"觸發任務執行之外,支持基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務,可根據業務事件靈活觸發。
XXLJOBGitHub地址
https://github.com/xuxueli/xxl-job 下載
目前github排名第一
文檔
http://www.xuxueli.com/xxl-job/#/?id=_21-%e5%88%9d%e5%a7%8b%e5%8c%96%e8%b0%83%e5%ba%a6%e6%95%b0%e6%8d%ae%e5%ba%93
步驟:
①部署: xxl-job-admin 作爲註冊中心
②創建執行器(具體調度地址) 可以支持集羣
③配置文件需要填寫xxl-job註冊中心地址
④每個具體執行job服務器需要創建一個netty連接端口號
⑤需要執行job的任務類,集成IJobHandler抽象類註冊到job容器中
⑥Execute方法中編寫具體job任務
下載之後用開發工具導入,這是結構圖
1.http://i2.51cto.com/images/blog/201804/23/433c36714e87458c3d17a029b91037fd.png 找到master doc 把sql在數據庫執行一遍
2.http://i2.51cto.com/images/blog/201804/23/d0a714f93bb5cc60574fe4dc10bd00bc.png 找到 admin 資源 屬性文件把數據庫鏈接改一下
xxl.job.login.username=admin
xxl.job.login.password=123456 這是配置用戶名和密碼等會會用到
3.
把admin 部署到tomcat啓動
http://i2.51cto.com/images/blog/201804/23/b2fa2768bea97ed037fa3c693e73bc50.png 登錄界面 輸入剛纔配置好的用戶名和密碼
http://i2.51cto.com/images/blog/201804/23/fe27dff4215c0e34762b70187044d120.png 登錄之後的界面
我們在springboot工程中service包下建立一個繼承IJobHandler的類 ,寫一個打印一句話
System.out.println("===》TestJobHandler正在執行定時任務,端口號是:"+port);
http://i2.51cto.com/images/blog/201804/23/9f022076b9cb5cf3564f0bfb1c6d2f79.png
在配置文件裏面配置 xxl的地址就是你tomcat部署的那個地址
http://i2.51cto.com/images/blog/201804/23/fc044cff9c7bec56d81261dda28c7715.png
配置執行的地址名稱 端口號 等會在admin管理中心會用到
進入執行器管理 新增執行器
http://i2.51cto.com/images/blog/201804/23/235c4e2f33620912cb5b7bfacc298f26.png 機器地址就是你在springboot項目中配置文件配置的
進入任務管理選擇你剛纔新增的執行器
http://i2.51cto.com/images/blog/201804/23/aff4f39e98d7119074973aa7fdf04b63.png
再選擇新增任務
http://i2.51cto.com/images/blog/201804/23/d6ac6abbacff7e85d9de8a1a7894a9df.png
那個表達式可以自己配置,jobHandler就是你在@JobHander("testJobHandler")註解配置的名稱
點擊 執行
http://i2.51cto.com/images/blog/201804/23/330df85c6eb46a5b6b58b50c14a91d48.png
結果
http://i2.51cto.com/images/blog/201804/23/26a51ac70b38b4d2d06b7f3a70e9b780.png
5秒執行一次 ,還可以支持集羣
http://i2.51cto.com/images/blog/201804/23/fb287e37bc6478c7d1d8c8d7bc0db0e5.png路由策源選擇輪詢,在執行器管理,配置機器地址,用逗號隔開
http://i2.51cto.com/images/blog/201804/23/4011b77b48a96d873ae28db3b702f3fc.png
運行
最後介紹完畢 ,有時間再更新 ,第一次寫。