監控精度提升至 90%,海量雲計算平臺資源自動監控系統設計

Zabbix6.0 新功能 業務服務監控BMS

將同步在12月3-4日Zabbix中國峯會分享


本文轉載自 張明明, 劉丹, 吳嘉生,等. 海量雲計算平臺資源自動監控系統設計[J]. 電子設計工程, 2019, 27(23):144-147.


作者單位:國網江蘇省電力有限公司信息通信分公司,國網信息通信產業集團有限公司。

爲全面擴充資源監控精度水平,提升平臺自身的監控時效能力,設計海量雲計算平臺下的資源自動監控系統。在 Zabbix 監控架構中,高效連結平臺資源拓撲模塊、資源態勢自動監控模塊兩個執行設備,完成自動監控系統的硬件運行環境搭建。 


在此基礎上,通過統一海量資源異構接口規範的方式,對監控資源的數據層進行訪問,並以此達到完善自動監控狀態機制的目的,實現自動監控系統的軟件運行環境搭建。結合軟、硬件組織結構,完成海量雲計算平臺資源自動監控系統 設計。 


相同環境下的對比實驗結果表明,與普通監控系統相比,資源監控精度可提升至 90%左右, 平臺監控時效水平提升明顯。


01

背景和選型


資源監控是一種抽象的平臺調度權衡策略,可以在確保高效性的前提下,整合服務器中的已佔用數據資源,再根據相關執行設備的節點參照標準,爲其分配最適宜的資源監管任務。 


典型的資源監控系統由前端監視、後端存儲、傳輸運行、控制顯示五種 基礎設備共同組成,其中後端設備作爲監控指令的 直接執行者,可以進一步爲中心資源分配或各級執 行組織提供信息連接節點。且前、後端設備可以通過光纖、電纜、微波等多種方式進行連接,不必拘泥於單一的信息傳輸設備。


在 雲 平 臺 基 礎 上 ,傳 統 資 源 監 控 系 統 整 合 Spring、Mybatis、SpringMVC 三大開發框架,並在前端 平臺中增設 ECharts 組織,已達到對監控資源進行可 視化調整展示的目的。但這種方法侷限了數據節點的交互能力水平,極不利於完善資源調度關係的建立。 


爲解決上述問題,在Zabbix 框架、資源異構接口等軟、硬件設備的支持下,搭建一種海量雲計算平臺下的新型資源自動監控系統,並在後續實驗過程中,通過數據整合、對比的方式,突出普通系統、新型系統的實用差異性所在。


02

系統硬件設計


Zabbix監控架構搭建


Zabbix架構是新型資源監控系統的硬件主體結構,採用Client/Server的組織分佈形式,可以同時保持Client Proxy/Server形態與Client/Node/Server形態的應用優勢。Client/Server架構包含2個ZabbixServer服務器和2個ZabbixAgent服務器,在同一執行時間段內,只能對同一組資源數據進行監控處理,通過安裝在客戶端的Agent主機獲取待監測的數據資源。


Client/Proxy/Server 架構可對 Agent 主機中的監 控資源進行收集處理,並將其存儲與系統數據庫中, 再以固定的監控時間間隔發送至 Zabbix 服務器中。在 該 框 架 結 構 中 ,所 有 執 行 端 服 務 器 均 爲 Zabbix Agent 設備,Proxy 作爲代理傳輸組織能夠充分降低 Zabbix 服務器的資源負載壓力,並以此實現系統的集中監控目的。


監控平臺資源拓撲模塊設計


雲監控平臺海量資源拓撲模塊可以按照客戶端的實際處理需求,擴大或縮減接入系統核心計算機的待監控資源總量,並以監控管理員的身份對各級 連接節點進行拓撲結構分析。在平臺拓撲模塊中, 待監控的資源數據均以圖例形式進行排列,並且可 以隨着資源集羣的增刪變化形式,來滿足系統環境內的拓撲監控需求。 


從整體角度來看,監控平臺 資源拓撲模塊以展列監控信息作爲目標,在虛擬布 設機的促進下,分佈或終結所有監控指令,併力求對 核心計算機的監控命令進行嚴格拓撲把控。


資源態勢自動監控模塊設計


資源態勢自動監控模塊包含虛擬機、物理機等 多項物理監控運行設備,可在任務層、功能層兩方面 實現資源態勢的監控指標獲取操作。物理機是雲計 算監控平臺的重要組成單元,可以生成與資源監控 態勢相關的佔用率指標,並根據該數值與資源佔用 率閡值間的具體物理差,判斷當前資源節點是否處 於被監控狀態。 


處於異常連接狀態的虛擬機結構,會對物理機資源監控節點產生較強的阻礙作用, 當數據庫不足以支撐這種系統運行現狀時,虛擬機即可解除異常連接狀態,這也是新型系統中數據 能夠快速達到監控佔用上限的主要原因。具體監控 模塊結構如圖所示。

資源態勢自動監控模塊結構圖


03

系統軟件設計


海量資源的異構監控接口規範統一


在雲計算平臺中,海量資源存在大量的異構形式,且每種異構體只對應單一的屬性接口。爲從根本上實現系統的統一監控需求,必須以彙編語言作爲工具,對不同資源異構體進行抽象分析,並從其中選擇同時滿足最多接口屬性要求的規則,作爲所有接口的準行條件,該過程即爲海量資源的異構接口規範統一。


監控資源的數據層訪問


監控數據層是生成系統監控指令的直接組織結構,在確保相關執行設備具備良好監控連接能力的前提下,該層次結構可對雲計算平臺中的海量資源進行連接處理。而監控資源數據層訪問,則是在保存信息自身持久化能力的基礎上,依靠監控程序連接指令對資源數據包進行的記錄定義操作。 


爲了使 數據層訪問操作具備更強的執行效果,當待監控資 源數量達到穩定時,RPC 指令根據系統的監控數據 負載上限判定數據庫是否具備足夠的資源承載能力。當判斷結果爲是時,系統核心計算機可直接對監控資源的數據層提出訪問請求;當判斷結果爲否時,數據層的 Service 組件首先分離出監控資源的不合理成分,再將剩餘資源按照系統監控抓取順序排列,再重複上述操作,直至完成所有待監控資源的訪問連接操作。具體訪問操作流程如圖所示。

監控資源數據層訪問流程圖


04

實驗結論


通過資源監控精度對比、平臺監控時效性對比,發現在雲計算平臺的支持下,海量資源自動監控系統以擴充資源監控精度、提升平臺監控時效性水平爲目標,在多項軟、硬件執行設備的支持下,將系統 自身的運行能力調試至最佳狀態。 


從實用結果的角 度來看,新型系統與普通系統相比,不需對相關應用 參數進行嚴格限制,最大程度上提升了系統的運行自由度,使良性利用思想得到了最大化發揮。


點擊查看議程


已確定參會嘉賓所在企業(部分):

交通銀行、中國移動咪咕視訊、京東集團、理想汽車、中國信託、富國基金、長安福特上汽通用汽車金融、復星凱特、浙江大學等,共150+參會嘉賓已報名,期待你來與同行交流!


往期推薦


_

Zabbix學習資料申請(歷屆峯會ppt)


_


_

Q4,IT人從來沒輸過!


_


_

● Zabbix6.0LTS 監控領域又一大飛躍,將中文完整分享


_


_

● Zabbix技術問答特輯-25期


_


備註“使用Zabbix年限+企業+姓名”

進入交流羣,4000+用戶已加入

一個人走得快,一羣人走得遠

本文分享自微信公衆號 - Zabbix開源社區(china_zabbix)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章