ETL作業調度軟件TASKCTL產品功能清單

功能分類		功能描述
一級	二級
關係 調度控制	作業依賴關係調度	作業依賴關係調度是調度最基本的功能，指作業間具有順序的運行，比如：a、b、c三個作業，只有當a完成後才運行b，b完成才能運行c
	作業並行調度	與依賴關係對應，同樣是調度的基本功能，指作業間運行不存在關係，可同時運行。
	作業間互斥調度	互斥調度，指作業間不能同時運行，具有相互排斥性。比如 AB兩個作業，當A運行時, B就不能運行；當B作業運行A就不能同時運行。
容錯策略	錯誤自動重做	在一個作業流中，可以對相應作業設置重做次數。在自動化調度過程中，當作業發生錯誤後，可以根據預設次數，不斷重做，直到次數滿或作業成功爲止。但次數滿，而作業依舊不成功，該作業視爲失敗，後續作業不再執行。
	錯誤自動忽略	與上功能對應，只是次數滿後，系統不再重調，並忽略該作業，後續作業自動繼續。
計劃排程	自然日曆排程	在一個業務作業處理流當中，設置其中某幾個作業只能在某些指定的日期運行，比如，每週幾，每月幾號等。
	邏輯日曆排程	在銀行業務中，基本上都具有業務日期概念，很多作業是按業務日期運行的。比如季末、季初等。從技術層面，該功能基本與上對應。只是一個相對自然日期而言，另一個相對邏輯業務日期而言
流程 啓動觸發	事件觸發	對於一個系統的某個處理流，整個處理流每次運行究竟什麼時候開始，可能自身不能決定，而是通過外圍某個事件決定。而調度必須提供這種對外事件觸發的機制，以便外圍能與調度系統自動聯動。
	文件觸發	與事件觸發對應，一個流程是否開始運行，取決與某個文件是否存在。事件需外圍，而文件觸發是調度自身能判斷。
	定時頻度觸發	對於一個系統的某個處理流，按一定時間頻度定時觸發。比如每天23：00，每隔1小時，每個30分鐘等。
	自定義時間觸發	對於有些流程啓動，因業務原因，可能不是定頻，而是指定某個時間段觸發的指定時間點觸發
	自定義條件觸發	要求調度系統，能根據複雜的業務條件啓動流程。這個啓動條件判斷可由用戶自定義。
其它	返回值控制	在批量調度中，每個作業自身都有運行成功或失敗的表達，一般是通過返回值來定義的，而調度系統主要通過該返回值來決定一個作業是否成功與失敗。因此，對每個作業，需要靈活定義一個作業返回值。
	跳轉控制	根據某個作業的運行情況，跳轉流程邏輯。類型程序語言中的goto語句。
	條件分支	類似語言中的if，case，where等。根據一個作業返回結果，確定具體的作業執行分支。
	參數控制	爲了保證調度的靈活性，在作業定義時，需要對每個作業對應的程序引入參數。
	變量自動設置	爲了保證作業定義信息的靈活性、可移植性，需要對作業參數、程序路徑以及更多的控制信息進行變量化。
	作業輸入輸出傳遞	將一個作業的輸出結果變爲另一個作業的輸入參數。
	時間窗口控制	在一個流程中，有些作業不再指定的業務時間範圍內，不能運行
	併發度控制	可根據具體的設置參數決定實際的運行作業併發數量
	物理資源閥值控制	可根據機器資源閥值運行決定是否調一個作業。比如CPU高，就不分配作業運行
	邏輯資源閥值控制	這是對上物理資源閥值控制調度缺陷的補充，對每個作業資源消耗設置一個具體值，再根據該值來決定作業的分配。
	優先級控制	對於並行作業來說，設計一個誰先運行誰後運行的優先級。
	循環控制	在一個作業流中，某個作業可根據參數循環運行多次，且每次的輸入參數都不一樣。
	多實例調度	多實例是一個技術概念，表示一個調度中的作業對象或流程對象，可以同時運行多份。
	斷點續做	一個正常處理流程，比如abcde五個串行作業，運行到c時，因某種原因，調度異常中斷，當調度恢復後，可正常從c繼續運行。既保證不重複調度，又保證業務連續性
	負載均衡調度	當某些作業同時在多臺機器部署，並可在任意一臺機器上運行，此時需要調度將不同並行作業分別分配到不同機器，保證充分利用硬件資源。同時，這種集羣調度，也可保證集羣的單點故障。
系統平臺管理	節點管理	爲了方便管理，提供界面對調度服務節點、代理執行節點的增刪改查，比如ip,port等信息
	用戶及權限管理	在一個調度平臺，會存在多種用戶角色，比如有的可查看，有的可管理，有的可設計等。需要相應的界面對用戶及權限進行增刪改查
	遷移部署	遷移部署功能是指將調度配置信息，從一個環境導入到另一個環境，通常用於上線或變更操作
	信息備份	能將設計配置信息自動化備份
	平臺日誌管理	能管理調度平臺的各種運行日誌，按日期，按類型等
	版本管理	版本管理是對調度配置數據的備份、分支和切換等功能，在關鍵時候，能夠進行回退等操作
作業(流)定義 設計功能	作業流程嵌套設計	作業組(流)和作業好比目錄和文件的關係，在調度配置過程中，根據業務關係對作業進行分組，可以統一控制如執行日曆、時間窗等屬性，還可以簡化依賴配置;同時嵌套設計，也是一種結構化管理，間信息分類，便於流程圖展示與管理。
	信息變量化設計	可以設計各種變量，用於宏替換各種設計信息，比如數據庫、密碼、路徑以及各種更多的控制參數
	設計信息自動檢測	調度信息的設計在一定程度上是滿足一定規則的，要求設計環境在用戶以便設計一邊自動檢測用戶的設計信息，是否滿足信息規則。不要等到大量設計信息設計完成後，在統一檢測。設計信息自動檢測是提供用戶的體驗度，減少設計的出錯機率
	單作業對話框方式定義	提供友好的對話框快速設計單個作業
	流程圖設計能力	作業流信息能夠通過圖形來展示
	單作業圖形拖拽設計	能夠採用拖拽的方式快速設計一個作業
	多作業批量化平面文件方式設計	在實際設計中，很少採用對話框或拖拽的方式設計一個作業。因爲實際情況，作業數較多，拖過一次次拖拽，一次次在對話框中點擊保存，是很繁瑣且效率低下的事。因此，一般情況下，面對大量作業的設計，採用編輯性很強的平面文件來設計（比如規則表格、excel、格式化、語法化文本等）
	批量設計在線化	採用平面文件方式設計時，需要信息在線化，及設計的信息實時與服務端互動。
	批量設計與圖形化設計實時互動	採用平面文件設計時，需要實時與圖形以及對話框設計互動，即可在平面文件方式、圖形拖拽方式、對話框方式等不同設計方式中自由切換，使這三種設計方式有效結合，滿足不同的設計場景。
全方位 監控管理	流程圖實時動態監控	通過流程圖清晰地、實時地展示流程作業的運行狀況，一表達作業的順序關係，二能清晰看到哪些作業在運行，哪些作業未運行，哪些作業運行錯誤等
	多維度的統計列表監控	由於作業較多，爲了管理方便，會對這些作業通過不同緯度進行管理。在監控時時，也希望能通過不同緯度進行統計監控，比如可以整個平臺的運行情況，每個系統的運行情況，每個流程的運行情況等。
	短信實時監控	能通過短信進行監控，當作業發生錯誤時，能立即通過短信的方式發送給相應的負責人，以便做相應的應急處理安排。
	郵件方式非實時通知	能將每天的運行情況通過郵件的方式發送給相應人員。郵件方式無須實時，但可能要採用每天定時發送的方式。
	啓動文件到達監控	能對文件到達自動化觸發的文件進行到達監控，讓用戶知道相關文件是否到達，便於用戶對晚到的文件進行相應處理
	調度體系拓撲圖監控	調度體系包括調度服務節點，執行代理節點等。需要提供拓撲圖的方式對各個節點進行監控。包括節點的狀態等
	資源監控	在監控調度體系各個節點狀態的同時，還能監控更多的資源信息（cpu\硬盤狀況）等，使用戶對調度運行環境有一個更全面的瞭解。
信息查詢	歷史調度信息查詢	對調度的歷史運行情況進行查詢，包括：狀態、日期、啓動時間、結束時間、運行節點、作業日誌等信息。
	作業日誌查詢	執行日誌是指作業在執行過程中，作業本身產生的日誌(非調度日誌)，該案例需要測試調度產品對不同類型作業，通過界面，查看或獲取作業日誌的情況。
	作業信息查詢	能查詢每個作業的各種信息，包括作業的基本信息（作業名稱、作業描述 、作業參數、作業對應程序等）、作業的各種控制策略（作業的依賴關係、重做次數、執行計劃等）
	變量信息查詢	能查詢整個平臺的全局變量，或局部變量、私有變量。變量一般情況實在設計階段設計的，但在實際運行過程當中，變量值可以隨着調度的不斷運行而改變。因此，需要提供相應的界面查詢相應範圍的具體變量值
	人工操作記錄查詢	系統提供各用戶操作記錄查詢，以便安全、責任以及審計管理。操作記錄信息包括：操作人員、操作時間、操作類型、影響調度範圍等信息。
人工干預功能 （手工保障）	人工執行任意作業	爲了保證管理的靈活性，每個作業除了自動化運行外，還必須保證不論在什麼時間，都可人工運行任意作業，以便滿足應急要求，可以隨時方便地實現自動、手動兩種調度方式的切換。
	人工執行指定分支	爲了提高人工運行的效率以及人工處理的友好性，除了可以人工可運行任意作業外，系統還需提供人工可運行任何依賴分支。
	作業重做	重做是指對一個作業或一組作業流程，重新執行。
	正執行作業人工中斷	中斷用於在調度過程中，強行停止作業。中斷作業包括：調度系統中作業的停止，實際運行作業進程的停止。比如中斷存儲過程，不僅要中斷調度中的邏輯作業，還要中斷數據庫中真實的存儲過程。
	斷點設置	斷點是指在調度流程中，提前設置斷點，讓流程運行到斷點處停止進行觀察和調試。
	設置作業無效	在作業流程調度運行中，人爲提前設置某作業無效，使實際處理過程中，不真實調度運行該作業。
	強制通過	調度過程中，因某些原因，作業無法執行成功，可將其直接修改爲成功狀態，讓該作業強制通過。
	執行條件人工忽略	每個作業自動化運行都有多種條件，比如依賴條件，時間條件等。通過忽略條件，使該作業變爲可立即執行的狀態。
	並行度實時人工調整	在運行過程中動態修改並行度
	資源閥值人工調整	在運行過程中動態修改閥值的控制
	優先級實時人工調整	優先級在設計之初就有預定義。同時希望可以在運行過程實時動態調整。
	控制變量人工修改	變量是一種保證設計信息最大靈活性的關鍵技術。不僅可以在設計時或初始化時賦值，同時也可以在調度自動化運行過程動態賦值。
	追數調度	追數是批處理過程中常用的處理手段，通過起始日期和結束日期的設置，作業在此期間內，執行完畢後立即翻牌執行下一業務日期，直到結束日期。
統計分析	排程分佈圖	排程分佈，指運行作業在不同時間的運行分佈狀況，比如1：00~2:00時間段有多少作業運行。排程分佈要求通過圖標展示不同緯度的作業分佈：整個平臺緯度，具體某個系統的緯度等
	系統運行時間窗口分佈圖	系統時間窗口信息：系統名稱（crm\數據倉庫等）、開始時間、結束時間、整體耗時等。能提高圖表方式，直觀展示所有系統的時間窗口分佈。
	作業運行時序圖	作業時序圖與系統時間窗口圖類似，只是作業時序圖粒度更小，是站在每個作業的緯度。
	作業耗時排序圖	可站在整個平臺的緯度以及系統的緯度對最耗時作業進行排序，將最耗時的作業排在最前面
	作業運行關聯分析	作業關聯分析是通過盡最大可能還原每個作業當時的運行環境關鍵關聯信息，以便做相應分析。關聯信息包括：當時作業所運行的機器上，有那些作業在同步運行，當時的CPU的變化情況等。
	作業出錯率統計分析	統計作業的出錯率，可以讓用戶快速發現出錯率高的作業，以便用戶對這些作業重點關注。
架構靈活性	調度核心架構：調度服務+執行代理	調度服務負責作業調度處理，執行代理負責具體作業的運行、終止處理等
	整體應用架構：分佈獨立調度、統一運維監控	要求調度技術部分與監控管理部分分離。調度技術部分負責生產的調度處理，而監控部分是站在運維部的角度，實現對各個應用系統批量調度的統一監控管理。因此，整體架構要求：統一監控管理平臺+調度服務器+調度執行代理。統一監控平臺與調度服務器關係：1對多；調度服務器與執行代理關係：1對多
友好性	易安裝	要求一個獨立調度技術平臺必須可以快速安裝，最好可以傻瓜化10分鐘內完成安裝。
	流程圖友好性	a.線條關係清晰性: b.是否可以自動排版； c.是否可以上下鑽取 d.是否可以對每一個作業類型個性化展示（比如shell\datastage\存儲過程用不同圖標展示）
	流程設計功能友好性	a.是否可以可視化設計流程圖 b. 是否可以在線化對大量作業批量平面文件化開發設計（比如表格化、格式文本化） c. 批量平面文件式設計是否與流圖實時互動，即拖拽式圖形開發與平面文件式開始是否可以實時的、自由的來回切換 d. 是否可以實時檢測設計信息的合理性。
	快速搜索定位	a. 是否可以一鍵式可以搜索設計的各種信息，並定位到該信息，而不是在不同對話框中來回搜索 b. 是否通過搜索定位到流程圖的具體作業節點
	界面友好性	a.界面是否簡介清晰 b.功能佈局是否合理 c.操作流程是否簡介
開放性	跨平臺、跨系統	a 是否支持linux系列調度 b 是否支持aix系列調度 c 是否支持windows調度 d 是否具有java版代理
	廣泛的作業類型支持	a shell作業調度 b 行命令直接調度 c 存儲過程調度 d datastage作業調度 e java作業類型調度
	作業類型統一擴展功能	是否具有統一接口的作業類型擴展，系統是否可以添加各種作業類型。
	系統控制規模要求	一個調度服務器支撐的作業數量：10萬級 一個調度服務器支撐的代理數：不低於100個 一個統一監控平臺可同時監控服務器數量：不低於100個
	調度核心各種應用控制接口的開發性	各種用戶應用操作命令是否有統一的二次開發接口，是否具有相應的api(應具備主流java版接口)   比如：各種人工干預操作、作業的導入導出等
	調度核心各種數據的開放性	各種核心數據訪問是否有統一的二次開發接口，是否具有相應的api(應具備主流java版接口)   比如：作業定義靜態數據、作業調度運行動態數據等
高性能	調度服務節點資源消耗	一個調度服務所有組件正常運行對資源的消耗    1. 調度服務器對資源的消耗    2. 如需第三方平臺的消耗（比如調度平臺需數據庫，第三方中間件）
	調度代理節點資源消耗	一個調度代理正常運行對資源的消耗
	調度效率（吞吐量）	調度效率指，一個調度服務核心數據計算速度，具體體現在調度吞吐量，調度吞吐量一般可用兩個緯度的數據體現：    a. 串行吞吐量：比如空跑10000個依賴作業所需的時間（單位爲 個/秒），並要求不能低於10個/秒    b. 並行吞吐量：比如空跑10000個並行作業（但必須設置實際運行並行度比如10個）所需的時間，並要求不能低於20個/秒
低依賴	硬件環境低依賴	一個調度服務器在固定的業務需求範圍對硬件的要求，比如10個系統，10000個作業規模，需要多少硬件。
	軟件環境低依賴	一個調度服務器應用，除了部署廠商自主研發的軟件外，還需部署多少其它軟件。比如是否需要數據庫，是否需要第三方通信中間件、消息隊列等。    如何判斷：一般可以通過需要多少個端口來判斷。
高可靠	調度服務節點高可靠	調度服務節點是否有HA、主備、集羣機制。
	調度代理節點高可靠	調度代理節點是否有集羣機制，是否可以解決單點故障
信息安全	網絡通訊安全	節點間（服務與代理間、服務與操作客戶端之間）通信是否通訊安全機制，比如校驗機制、信息加密等。
	強密碼策略	調度設置信息中，是否可對一些敏感信息有加密機制
	單點登錄機制	是否可以接入企業內統一用戶認證服務平臺
	人工操作記錄可查詢	系統是否可以查詢各用戶各種重要的操作記錄，比如登錄、干預作業操作記錄