北京2022年4月27日 /美通社/ -- 隨著互聯(lián)網(wǎng)、5G、IoT等飛速發(fā)展,數(shù)字化、智慧化的建設(shè)對(duì)算力提出更高的要求,數(shù)據(jù)中心向著規(guī)?;⒓s化、綠色化不斷演進(jìn),根據(jù)ResearchAndMarkets 《全球數(shù)據(jù)中心托管服務(wù)市場(chǎng)機(jī)遇》報(bào)告顯示,超大規(guī)模數(shù)據(jù)中心預(yù)計(jì)將從2019年的509個(gè)增長(zhǎng)到2025年的890個(gè),這將改變數(shù)據(jù)中心建設(shè)和使用的方式,數(shù)據(jù)中心規(guī)模不斷擴(kuò)大,大型數(shù)據(jù)中心服務(wù)器數(shù)量已經(jīng)達(dá)到了10萬(wàn)以上的量級(jí),這意味著對(duì)運(yùn)維的難度、人力、成本、專業(yè)性都提出了更高的要求,企業(yè)數(shù)據(jù)中心的運(yùn)維壓力面臨著前所未有的挑戰(zhàn),打破傳統(tǒng)運(yùn)維方式,打造"監(jiān)、管、控、防"智能化的運(yùn)維是解決問(wèn)題的關(guān)鍵。
什么是智能運(yùn)維?
首先,要了解數(shù)據(jù)中心運(yùn)維的發(fā)展歷程,它主要包含三個(gè)階段:人肉運(yùn)維、自動(dòng)化運(yùn)維和智能運(yùn)維。
所謂人肉運(yùn)維就是指 -- 在早期,大部分?jǐn)?shù)據(jù)中心的運(yùn)維工作是由運(yùn)維工程師手工完成。服務(wù)器運(yùn)行狀態(tài),全靠運(yùn)維工程師每日肉眼查看,進(jìn)行問(wèn)題定位與解決,每位工程師可以運(yùn)維的上限約為400臺(tái)設(shè)備。這種低效的運(yùn)維方式,在數(shù)據(jù)中心服務(wù)器增多和人力成本逐漸增高的時(shí)代,是難以維繼的。
所以自動(dòng)化運(yùn)維便應(yīng)運(yùn)而生,由運(yùn)維工程師根據(jù)運(yùn)維經(jīng)驗(yàn)編寫(xiě)腳本,進(jìn)行批量設(shè)備巡檢,后期發(fā)展成基于任務(wù)的設(shè)備巡檢,這便是自動(dòng)化運(yùn)維的早期方式。這大大提升了發(fā)現(xiàn)異常設(shè)備的效率,降低了運(yùn)維成本。但是,面對(duì)故障根因、故障預(yù)測(cè)、性能趨勢(shì)和控制決策,自動(dòng)化運(yùn)維卻力不從心。
根據(jù)Gartner發(fā)布的《2021年中國(guó)ICT技術(shù)成熟度曲線報(bào)告》顯示,AIOps市場(chǎng)將持續(xù)增長(zhǎng)并影響整個(gè)IT運(yùn)營(yíng)管理市場(chǎng),報(bào)告預(yù)計(jì)未來(lái)2-5年內(nèi)AIOps將進(jìn)入成熟期并會(huì)幫助企業(yè)大幅節(jié)約成本。從服務(wù)器運(yùn)維的角度來(lái)分析服務(wù)器智能運(yùn)維,目標(biāo)就是通過(guò)對(duì)帶外信息(配置信息、狀態(tài)信息、性能信息、日志等)和帶內(nèi)信息(配置參數(shù)、性能信息、日志信息)進(jìn)行采集,利用機(jī)器學(xué)習(xí)的方式來(lái)解決上述問(wèn)題,提高系統(tǒng)預(yù)警能力和穩(wěn)定性,降低運(yùn)維成本,提高運(yùn)維效率。
浪潮信息打造智能化的物理基礎(chǔ)設(shè)施管理平臺(tái)(ISPIM)
浪潮信息物理基礎(chǔ)設(shè)施管理平臺(tái)ISPIM,通過(guò)對(duì)數(shù)據(jù)中心IT設(shè)備的7*24h納管監(jiān)控,實(shí)現(xiàn)在異常檢測(cè)、故障診斷、故障預(yù)測(cè)、故障自愈、性能預(yù)測(cè)等多維度的智能化運(yùn)維。
服務(wù)器運(yùn)維中,最根本的是對(duì)于異常的檢測(cè),常見(jiàn)的是對(duì)狀態(tài)指標(biāo)、性能指標(biāo)和日志數(shù)據(jù)三大數(shù)據(jù)的檢測(cè)。
狀態(tài)指標(biāo):當(dāng)服務(wù)器的狀態(tài)出現(xiàn)異常時(shí),浪潮信息ISPIM管理軟件通過(guò)主/被動(dòng)方式對(duì)服務(wù)器的異常進(jìn)行聚合,防止重復(fù)告警和誤報(bào),同時(shí)對(duì)同時(shí)刻多告警進(jìn)行根因定位,防止告警風(fēng)暴,產(chǎn)生告警麻痹。
性能指標(biāo):在性能指標(biāo)檢測(cè)方面,傳統(tǒng)手段是設(shè)置閾值,但常常因?yàn)槟骋粫r(shí)刻產(chǎn)生噪點(diǎn)數(shù)據(jù)而發(fā)生誤報(bào),通過(guò)重復(fù)次數(shù),閾值抖動(dòng)范圍和自學(xué)習(xí)數(shù)據(jù)密度分布等方案,便能夠解決噪點(diǎn)數(shù)據(jù)產(chǎn)生的99%的告警誤報(bào);但面對(duì)周期性變化的數(shù)據(jù)卻無(wú)法進(jìn)行動(dòng)態(tài)調(diào)整,也會(huì)產(chǎn)生誤報(bào)的情況,大大降低告警的準(zhǔn)確性。浪潮信息ISPIM管理軟件通過(guò)AI優(yōu)化,針對(duì)性能數(shù)據(jù)進(jìn)行時(shí)域、頻域、能量等變化進(jìn)行動(dòng)態(tài)分析,采用LSTM和隨機(jī)森林兩種方案進(jìn)行預(yù)測(cè),告警準(zhǔn)確性達(dá)到98%。
日志數(shù)據(jù):日志一般是半結(jié)構(gòu)化的數(shù)據(jù),根據(jù)日志級(jí)別產(chǎn)生告警,準(zhǔn)確性不夠并且只能檢測(cè)到已知和確定模式的異常。浪潮信息ISPIM管理軟件擁有4000+運(yùn)維專家資源庫(kù),幫助實(shí)現(xiàn)服務(wù)器故障快速診斷,同時(shí)在日志智能故障診斷方面,會(huì)將采集的日志進(jìn)行重新編碼,不斷加深對(duì)深度學(xué)習(xí)、LSTM等算法的研究、實(shí)踐應(yīng)用,實(shí)現(xiàn)從多個(gè)維度對(duì)服務(wù)器異常進(jìn)行分析,異常檢測(cè)準(zhǔn)確率高達(dá)99%。
為進(jìn)一步提高運(yùn)維效率,浪潮信息ISPIM管理軟件除了對(duì)日志的故障診斷之外,還會(huì)對(duì)系統(tǒng)宕機(jī)后的數(shù)據(jù)進(jìn)行深入的剖析,便于問(wèn)題快速定位,提高效率。
通過(guò)對(duì)采集的海量數(shù)據(jù)進(jìn)行分析,浪潮發(fā)現(xiàn)服務(wù)器的宕機(jī)通常是發(fā)生了CPU MCE(Machine Check Exception)故障,MCE來(lái)源一般來(lái)說(shuō)有兩種,一種是CPU本身故障,一種是來(lái)自CPU外部的部件。浪潮信息ISPIM管理軟件通過(guò)帶外收集服務(wù)器CPU寄存器數(shù)據(jù),基于MCA(Machine Check Architecture)技術(shù)架構(gòu),通過(guò)定位CPU觸發(fā)源、分析MC Bank、解析CSR、MSR寄存器,實(shí)現(xiàn)故障原因的確認(rèn)以及故障部件的精準(zhǔn)定位,并根據(jù)浪潮信息專家經(jīng)驗(yàn)庫(kù)對(duì)故障問(wèn)題給出專業(yè)的解決方案,從而提升運(yùn)維效率。
據(jù)統(tǒng)計(jì)顯示,在數(shù)據(jù)中心中由內(nèi)存、硬盤(pán)造成的故障占比超過(guò)50%以上,其主要原因在于硬盤(pán)、內(nèi)存保有量較大,生命周期相對(duì)較短,使用率較高等。當(dāng)內(nèi)存或硬盤(pán)產(chǎn)生故障時(shí),極容易發(fā)生嚴(yán)重宕機(jī)事故。
對(duì)于內(nèi)存而言,內(nèi)存產(chǎn)生的CE(可糾正錯(cuò)誤),可以通過(guò)ECC(Error Correcting Code)機(jī)制進(jìn)行糾正,但是頻繁的CE往往會(huì)產(chǎn)生UCE(Unchecked Error),一旦產(chǎn)生UCE,往往會(huì)導(dǎo)致系統(tǒng)宕機(jī)。因此,預(yù)測(cè)內(nèi)存故障即可轉(zhuǎn)化為預(yù)測(cè)UCE,浪潮信息ISPIM管理軟件對(duì)內(nèi)存CE,通過(guò)多個(gè)維度統(tǒng)計(jì)分析,從CE總頻率、內(nèi)存固定物理地址CE頻率閾值、固定Cell CE頻率閾值、CE在Column分布范圍及頻率閾值等維度統(tǒng)計(jì),獲取UCE與CE關(guān)聯(lián)關(guān)系,從而預(yù)測(cè)UCE。
而對(duì)于硬盤(pán),在數(shù)據(jù)中心中大多存儲(chǔ)陣列會(huì)采用一些冗余機(jī)制,但是這只能保證有限硬盤(pán)失效的場(chǎng)景,一旦故障盤(pán)數(shù)量超過(guò)RAID冗余的極限之后,很可能造成系統(tǒng)宕機(jī)或者數(shù)據(jù)丟失的風(fēng)險(xiǎn)。浪潮信息ISPIM管理軟件通過(guò)對(duì)SMART(Self-Monitoring Analysis and Reporting Technology)標(biāo)準(zhǔn)進(jìn)行分析,獲取硬盤(pán)故障預(yù)測(cè)的關(guān)鍵數(shù)據(jù)特征,基于模型算法進(jìn)行訓(xùn)練,優(yōu)化模型算法,輸出為推理算法模型,通過(guò)SMART指標(biāo)及硬盤(pán)運(yùn)行日志,預(yù)測(cè)風(fēng)險(xiǎn)盤(pán)。同時(shí)當(dāng)硬盤(pán)預(yù)測(cè)達(dá)到換盤(pán)指標(biāo)時(shí),可支持換盤(pán)操作。
通過(guò)這些技術(shù)優(yōu)化,浪潮信息ISPIM管理軟件可以實(shí)現(xiàn)對(duì)內(nèi)存和硬盤(pán)的故障預(yù)測(cè),大大提高系統(tǒng)穩(wěn)定性。
浪潮信息ISPIM管理軟件在針對(duì)故障自愈方面,可以支持內(nèi)存故障自動(dòng)隔離,在操作系統(tǒng)層面,結(jié)合MCE(Machine Check Exception)日志數(shù)據(jù)信息,基于CE故障信息,通過(guò)虛擬內(nèi)存故障Page診斷算法,確定內(nèi)存故障Page,并在操作系統(tǒng)內(nèi)核執(zhí)行Page Offline,通過(guò)虛擬內(nèi)存技術(shù),隔離對(duì)故障內(nèi)存區(qū)域的訪問(wèn),實(shí)現(xiàn)內(nèi)存故障隔離。在物理內(nèi)存層面,基于CE故障信息,通過(guò)物理內(nèi)存故障診斷算法,利用SPPR(Soft Post Package Repair)、HPPR(Hard Post Package Repair)對(duì)物理內(nèi)存故障Row進(jìn)行隔離,在技術(shù)上實(shí)現(xiàn)對(duì)故障內(nèi)存的永久性隔離,提高操作系統(tǒng)的穩(wěn)定性和可靠性,從而保障業(yè)務(wù)的穩(wěn)定可靠運(yùn)行。
性能預(yù)測(cè)是指對(duì)服務(wù)器的性能數(shù)據(jù),經(jīng)過(guò)ARIMA、指數(shù)平滑、LSTM、Prophet等智能算法,能夠感知系統(tǒng)在未來(lái)幾個(gè)小時(shí)、幾天或者一年的數(shù)據(jù)的走勢(shì)、增長(zhǎng)量或者周期性變化等。浪潮信息ISPIM管理軟件憑借自研性能分析核心組件,可支撐上萬(wàn)臺(tái)服務(wù)器同時(shí)進(jìn)行秒級(jí)性能數(shù)據(jù)的監(jiān)控與告警,幫助運(yùn)維人員實(shí)時(shí)掌握設(shè)備的性能狀況,實(shí)現(xiàn)對(duì)磁盤(pán)壽命、容量預(yù)測(cè),準(zhǔn)確率達(dá)到99%。
浪潮信息物理基礎(chǔ)設(shè)施管理平臺(tái)ISPIM(Inspur Physical Infrastructure Manager),具備資源管理、故障監(jiān)控、性能監(jiān)控、能耗管理、自動(dòng)部署、報(bào)表統(tǒng)計(jì)、網(wǎng)絡(luò)拓?fù)浜?D視圖等功能,可同時(shí)對(duì)數(shù)萬(wàn)臺(tái)不同品牌服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備等設(shè)備進(jìn)行統(tǒng)一監(jiān)控、運(yùn)維、告警管理,運(yùn)維效率提升2倍,基于浪潮信息故障專家?guī)斓拇髷?shù)據(jù)規(guī)則故障診斷功能,可將故障診斷準(zhǔn)確率提升到93%,并且可在快速處理故障的同時(shí)極大程度降低數(shù)據(jù)泄露風(fēng)險(xiǎn),幫助用戶打造無(wú)人值守?cái)?shù)據(jù)中心,提高運(yùn)維效率并降低運(yùn)維成本,保障數(shù)據(jù)中心安全、可靠、穩(wěn)定的運(yùn)行。