Schedulis是一個是一個基于LinkedIn的開源項目Azkaban開發的工作流任務調度系統。通過去中心化多調度中心和多執行器和租戶資源隔離等金融級特性,可以解決金融級場景下,大量批量作業任務的復雜依賴、靈活調度。Schedulis支持常規的Command Shell和Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大數據任務;同時還支持特色的數據檢查和工作流之間的依賴任務;支持完善的告警和工作流執行策略;提供多種類型的參數設置,動態全局變量和簡單易用的 UI。
軟件特色
與DataSphere Studio和Linkis的對接:
DataSphere Studio可以將編輯好的工作流一鍵發布到Schedulis進行調度,而Schedulis也實現了Linkis插件,用于向Linkis提交任務,這樣使得Schedulis與DataSphere Studio和Linkis能夠無縫銜接,從而實現數據應用開發全流程的連貫順滑用戶體驗。
與業界現有調度系統的比較:
下面將 Schedulis 和業界現有的調度系統做了個對比,包括:Azkaban, Airflow 和 Xxl-job
模塊 | 描述 | Schedulis | Azkaban | Airflow | Xxl-job |
---|---|---|---|---|---|
HA | 調度中心高可用 | 支持 | 不支持 | 不支持 | 支持 |
資源管理 | 執行節點多租戶 | 支持 | 不支持 | 不支持 | 不支持 |
運行視圖 | 工作流結構圖(DAG) | 清晰顯示任務狀態,任務類型,工作流狀態,重試次數等關鍵信息 | 只顯示工作流和任務狀態 | 只顯示任務狀態 | 只顯示任務狀態 |
WeDataSphere整合 | 對DataSphere Studio和Linkis的支持 | 與DSS和Linkis無縫對接 | 不支持 | 不支持 | 不支持 |
特色功能 | 循環執行 | 支持 | 不支持 | 不支持 | 不支持 |
靈活的工作流參數 | 支持不同級別多種設置方式的工作流參數 | 不支持 | 不支持 | 不支持 | |
hive表數據到達檢查 | 支持 | 不支持 | 不支持 | 不支持 | |
工作流之間交互依賴 | 支持 | 不支持 | 不支持 | 不支持 | |
失敗策略 | 支持任務失敗暫停、跳過、重試、超時處理 | 不支持失敗策略 | 支持部分任務重跑策略 | 支持任務超時處理和失敗重試 | |
系統管理 | 用戶管理 | 支持 | 不支持 | 支持 | 不支持 |
標簽: 任務調度
-
7 簡單搜索天氣組件
裝機必備軟件
網友評論