XXL-JOB能幫助用戶快速分布任務(wù),通過調(diào)度的形式來提升開發(fā)速度,從而讓軟件自動(dòng)執(zhí)行各項(xiàng)業(yè)務(wù),此系統(tǒng)學(xué)習(xí)難度較大,大部分用戶可快速上手,也有諸多公司使用此系統(tǒng)來開發(fā)生產(chǎn)線,支持故障轉(zhuǎn)移、動(dòng)態(tài)分片、腳本任務(wù)、數(shù)據(jù)加密及郵件報(bào)警等功能,需要的人群快來試試吧。
軟件功能
1、簡單:支持通過Web頁面對任務(wù)進(jìn)行CRUD操作,操作簡單,一分鐘上手;
2、動(dòng)態(tài):支持動(dòng)態(tài)修改任務(wù)狀態(tài)、啟動(dòng)/停止任務(wù),以及終止運(yùn)行中任務(wù),即時(shí)生效;
3、調(diào)度中心HA(中心式):調(diào)度采用中心式設(shè)計(jì),“調(diào)度中心”自研調(diào)度組件并支持集群部署,可保證調(diào)度中心HA;
4、執(zhí)行器HA(分布式):任務(wù)分布式執(zhí)行,任務(wù)"執(zhí)行器"支持集群部署,可保證任務(wù)執(zhí)行HA;
5、注冊中心: 執(zhí)行器會(huì)周期性自動(dòng)注冊任務(wù), 調(diào)度中心將會(huì)自動(dòng)發(fā)現(xiàn)注冊的任務(wù)并觸發(fā)執(zhí)行。同時(shí),也支持手動(dòng)錄入執(zhí)行器地址;
6、彈性擴(kuò)容縮容:一旦有新執(zhí)行器機(jī)器上線或者下線,下次調(diào)度時(shí)將會(huì)重新分配任務(wù);
7、路由策略:執(zhí)行器集群部署時(shí)提供豐富的路由策略,包括:第一個(gè)、最后一個(gè)、輪詢、隨機(jī)、一致性HASH、最不經(jīng)常使用、最近最久未使用、故障轉(zhuǎn)移、忙碌轉(zhuǎn)移等;
8、故障轉(zhuǎn)移:任務(wù)路由策略選擇"故障轉(zhuǎn)移"情況下,如果執(zhí)行器集群中某一臺(tái)機(jī)器故障,將會(huì)自動(dòng)Failover切換到一臺(tái)正常的執(zhí)行器發(fā)送調(diào)度請求。
9、阻塞處理策略:調(diào)度過于密集執(zhí)行器來不及處理時(shí)的處理策略,策略包括:單機(jī)串行(默認(rèn))、丟棄后續(xù)調(diào)度、覆蓋之前調(diào)度;
10、任務(wù)超時(shí)控制:支持自定義任務(wù)超時(shí)時(shí)間,任務(wù)運(yùn)行超時(shí)將會(huì)主動(dòng)中斷任務(wù);
11、任務(wù)失敗重試:支持自定義任務(wù)失敗重試次數(shù),當(dāng)任務(wù)失敗時(shí)將會(huì)按照預(yù)設(shè)的失敗重試次數(shù)主動(dòng)進(jìn)行重試;其中分片任務(wù)支持分片粒度的失敗重試;
12、任務(wù)失敗告警;默認(rèn)提供郵件方式失敗告警,同時(shí)預(yù)留擴(kuò)展接口,可方便的擴(kuò)展短信、釘釘?shù)雀婢绞剑?/p>
13、分片廣播任務(wù):執(zhí)行器集群部署時(shí),任務(wù)路由策略選擇"分片廣播"情況下,一次任務(wù)調(diào)度將會(huì)廣播觸發(fā)集群中所有執(zhí)行器執(zhí)行一次任務(wù),可根據(jù)分片參數(shù)開發(fā)分片任務(wù);
14、動(dòng)態(tài)分片:分片廣播任務(wù)以執(zhí)行器為維度進(jìn)行分片,支持動(dòng)態(tài)擴(kuò)容執(zhí)行器集群從而動(dòng)態(tài)增加分片數(shù)量,協(xié)同進(jìn)行業(yè)務(wù)處理;在進(jìn)行大數(shù)據(jù)量業(yè)務(wù)操作時(shí)可顯著提升任務(wù)處理能力和速度。
15、事件觸發(fā):除了"Cron方式"和"任務(wù)依賴方式"觸發(fā)任務(wù)執(zhí)行之外,支持基于事件的觸發(fā)任務(wù)方式。調(diào)度中心提供觸發(fā)任務(wù)單次執(zhí)行的API服務(wù),可根據(jù)業(yè)務(wù)事件靈活觸發(fā)。
16、任務(wù)進(jìn)度監(jiān)控:支持實(shí)時(shí)監(jiān)控任務(wù)進(jìn)度;
17、Rolling實(shí)時(shí)日志:支持在線查看調(diào)度結(jié)果,并且支持以Rolling方式實(shí)時(shí)查看執(zhí)行器輸出的完整的執(zhí)行日志;
18、GLUE:提供Web IDE,支持在線開發(fā)任務(wù)邏輯代碼,動(dòng)態(tài)發(fā)布,實(shí)時(shí)編譯生效,省略部署上線的過程。支持30個(gè)版本的歷史版本回溯。
19、腳本任務(wù):支持以GLUE模式開發(fā)和運(yùn)行腳本任務(wù),包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本;
20、命令行任務(wù):原生提供通用命令行任務(wù)Handler(Bean任務(wù),"CommandJobHandler");業(yè)務(wù)方只需要提供命令行即可;
21、任務(wù)依賴:支持配置子任務(wù)依賴,當(dāng)父任務(wù)執(zhí)行結(jié)束且執(zhí)行成功后將會(huì)主動(dòng)觸發(fā)一次子任務(wù)的執(zhí)行, 多個(gè)子任務(wù)用逗號分隔;
22、一致性:“調(diào)度中心”通過DB鎖保證集群分布式調(diào)度的一致性, 一次任務(wù)調(diào)度只會(huì)觸發(fā)一次執(zhí)行;
23、自定義任務(wù)參數(shù):支持在線配置調(diào)度任務(wù)入?yún)ⅲ磿r(shí)生效;
24、調(diào)度線程池:調(diào)度系統(tǒng)多線程觸發(fā)調(diào)度運(yùn)行,確保調(diào)度精確執(zhí)行,不被堵塞;
25、數(shù)據(jù)加密:調(diào)度中心和執(zhí)行器之間的通訊進(jìn)行數(shù)據(jù)加密,提升調(diào)度信息安全性;
26、郵件報(bào)警:任務(wù)失敗時(shí)支持郵件報(bào)警,支持配置多郵件地址群發(fā)報(bào)警郵件;
27、推送maven中央倉庫: 將會(huì)把最新穩(wěn)定版推送到maven中央倉庫, 方便用戶接入和使用;
28、運(yùn)行報(bào)表:支持實(shí)時(shí)查看運(yùn)行數(shù)據(jù),如任務(wù)數(shù)量、調(diào)度次數(shù)、執(zhí)行器數(shù)量等;以及調(diào)度報(bào)表,如調(diào)度日期分布圖,調(diào)度成功分布圖等;
29、全異步:任務(wù)調(diào)度流程全異步化設(shè)計(jì)實(shí)現(xiàn),如異步調(diào)度、異步運(yùn)行、異步回調(diào)等,有效對密集調(diào)度進(jìn)行流量削峰,理論上支持任意時(shí)長任務(wù)的運(yùn)行;
30、跨語言:調(diào)度中心與執(zhí)行器提供語言無關(guān)的 RESTful API 服務(wù),第三方任意語言可據(jù)此對接調(diào)度中心或者實(shí)現(xiàn)執(zhí)行器。除此之外,還提供了 “多任務(wù)模式”和“httpJobHandler”等其他跨語言方案;
31、國際化:調(diào)度中心支持國際化設(shè)置,提供中文、英文兩種可選語言,默認(rèn)為中文;
32、容器化:提供官方docker鏡像,并實(shí)時(shí)更新推送dockerhub,進(jìn)一步實(shí)現(xiàn)產(chǎn)品開箱即用;
33、線程池隔離:調(diào)度線程池進(jìn)行隔離拆分,慢任務(wù)自動(dòng)降級進(jìn)入"Slow"線程池,避免耗盡調(diào)度線程,提高系統(tǒng)穩(wěn)定性;
34、用戶管理:支持在線管理系統(tǒng)用戶,存在管理員、普通用戶兩種角色;
35、權(quán)限控制:執(zhí)行器維度進(jìn)行權(quán)限控制,管理員擁有全量權(quán)限,普通用戶需要分配執(zhí)行器權(quán)限后才允許相關(guān)操作;
更新內(nèi)容
Release Notes
1、【新增】調(diào)度過期策略:調(diào)度中心錯(cuò)過調(diào)度時(shí)間的補(bǔ)償處理策略,包括:忽略、立即補(bǔ)償觸發(fā)一次等;
2、【新增】觸發(fā)策略:除了常規(guī)Cron、API、父子任務(wù)觸發(fā)方式外,新增提供 "固定間隔觸發(fā)、(固定延時(shí)觸發(fā),實(shí)驗(yàn)中)" 新觸發(fā)方式;
3、【新增】新增任務(wù)輔助工具 "XxlJobHelper":提供統(tǒng)一任務(wù)輔助能力,包括:任務(wù)上下文信息維護(hù)獲取(任務(wù)參數(shù)、任務(wù)ID、分片參數(shù))、日志輸出、任務(wù)結(jié)果設(shè)置……等;
3.1、"ShardingUtil" 組件廢棄:改用 "XxlJobHelper.getShardIndex()/getShardTotal();" 獲取分片參數(shù);
3.2、"XxlJobLogger" 組件廢棄:改用 "XxlJobHelper.log" 進(jìn)行日志輸出;
4、【優(yōu)化】任務(wù)核心類 "IJobHandler" 的 "execute" 方法取消出入?yún)⒃O(shè)計(jì)。改為通過 "XxlJobHelper.getJobParam" 獲取任務(wù)參數(shù)并替代方法入?yún)ⅲㄟ^ "XxlJobHelper.handleSuccess/handleFail" 設(shè)置任務(wù)結(jié)果并替代方法出參,示例代碼如下;
@XxlJob("demoJobHandler")
public void execute() {
String param = XxlJobHelper.getJobParam(); // 獲取參數(shù)
XxlJobHelper.handleSuccess(); // 設(shè)置任務(wù)結(jié)果
}
5、【優(yōu)化】Cron編輯器增強(qiáng):Cron編輯器修改cron時(shí)可實(shí)時(shí)查看最近運(yùn)行時(shí)間;
6、【優(yōu)化】執(zhí)行器示例項(xiàng)目規(guī)范整理;
7、【優(yōu)化】任務(wù)調(diào)度生命周期重構(gòu):調(diào)度(schedule)、觸發(fā)(trigger)、執(zhí)行(handle)、回調(diào)(callback)、結(jié)束(complete);
8、【優(yōu)化】執(zhí)行器注冊組件優(yōu)化:注冊邏輯調(diào)整為異步方式,提高注冊性能;
9、【優(yōu)化】執(zhí)行器鑒權(quán)校驗(yàn):執(zhí)行器啟動(dòng)時(shí)主動(dòng)校驗(yàn)accessToken,為空則主動(dòng)Warn告警;(已規(guī)劃安全強(qiáng)化:AccessToken動(dòng)態(tài)生成、動(dòng)態(tài)啟停等)
10、【優(yōu)化】郵箱告警配置優(yōu)化:將"spring.mail.from"與"spring.mail.username"屬性拆分開,更加靈活的支持一些無密碼郵箱服務(wù);
11、【優(yōu)化】多個(gè)項(xiàng)目依賴升級至較新穩(wěn)定版本,如netty、groovy、spring、springboot、mybatis等;
12、【優(yōu)化】UI組件常規(guī)升級,提升組件穩(wěn)定性;
13、【優(yōu)化】調(diào)度中心頁面交互優(yōu)化:用戶管理模塊密碼列取消;多處表達(dá)autocomplete取消;執(zhí)行器管理模塊XSS攔截校驗(yàn)等;
14、【優(yōu)化】調(diào)度中心任務(wù)狀態(tài)探測慢SQL問題優(yōu)化;
15、【修復(fù)】GLUE-Java模式任務(wù),init/destroy無法執(zhí)行問題修復(fù);
16、【修復(fù)】Cron編輯器問題修復(fù):修復(fù)小概率情況下cron單個(gè)字段修改時(shí)導(dǎo)致其他字段被重置問題;
17、【修復(fù)】通用HTTP任務(wù)Handler(httpJobHandler)優(yōu)化:修復(fù) "setDoOutput(true)" 導(dǎo)致任務(wù)請求GetMethod失效問題;
18、【修復(fù)】執(zhí)行器Commandhandler示例任務(wù)優(yōu)化,修復(fù)極端情況下腳本進(jìn)程掛起問題;
19、【修復(fù)】調(diào)度通訊組件優(yōu)化,修復(fù)RestFul方式調(diào)用 DotNet 版本執(zhí)行器時(shí)心跳檢測失敗問題;
20、【修復(fù)】調(diào)度中心遠(yuǎn)程執(zhí)行日志查詢亂碼問題修復(fù);
21、【修復(fù)】調(diào)度中心組件加載順序優(yōu)化,修復(fù)極端情況下調(diào)度組件初始慢導(dǎo)致的調(diào)度失敗問題;
22、【修復(fù)】執(zhí)行器注冊線程優(yōu)化,修復(fù)極端情況下初始化失敗時(shí)導(dǎo)致NPE問題;
23、【修復(fù)】調(diào)度線程連接池優(yōu)化,修復(fù)連接有效性校驗(yàn)超時(shí)問題;
24、【修復(fù)】執(zhí)行器注冊表字段優(yōu)化,解決執(zhí)行器注冊節(jié)點(diǎn)過多導(dǎo)致注冊信息存儲(chǔ)和更新失敗的問題;
25、【修復(fù)】輪訓(xùn)路由策略優(yōu)化,修復(fù)小概率下并發(fā)問題;
26、【修復(fù)】頁面redirect跳轉(zhuǎn)后https變?yōu)閔ttp問題修復(fù);
27、【修復(fù)】執(zhí)行器日志清理優(yōu)化,修復(fù)小概率下日志文件為空導(dǎo)致清理異常問題;
標(biāo)簽: 任務(wù)調(diào)度 開發(fā)工具
下載地址
-
7 簡單搜索天氣組件
裝機(jī)必備軟件
網(wǎng)友評論