北京2020年10月23日 /美通社/ -- 10月14日,OpenStack社區(qū)發(fā)布了第22個版本 -- Victoria。據(jù)悉該新版本共收到了來自45個國家/地區(qū)、160個不同組織、近800位開發(fā)人員的20,000多個代碼更改,并同時聚焦Nova、Cinder、Cyborg、Vitrage、Manila等核心組件進(jìn)行了大量優(yōu)化工作。針對以上核心組件的技術(shù)貢獻(xiàn),浪潮繼U版本后排名再次登頂中國第一,有效推動了OpenStack技術(shù)創(chuàng)新與發(fā)展。
聚焦Cyborg技術(shù)創(chuàng)新 高效釋放硬件加速性能
作為OIF基金會黃金會員,浪潮始終以“源于開源,饋于開源”為宗旨,多年來持續(xù)投入社區(qū)貢獻(xiàn),憑借著強(qiáng)大的技術(shù)創(chuàng)新能力和深厚的技術(shù)底蘊(yùn),在裸機(jī)、容器、人工智能和加速設(shè)備方面取得了突破性進(jìn)展。
近年來隨著深度學(xué)習(xí)算法的突破,面對當(dāng)前計算能力的局限性,硬件加速受到越來越多關(guān)注,許多研究機(jī)構(gòu)對硬件加速器進(jìn)行了廣泛而深入的研究。尤其是Cyborg加速設(shè)備管理項目活躍于社區(qū),管理GPU、FPGA、ASIC、SSD、NVMe等加速資源,為虛擬機(jī)提供計算加速,在人工智能和邊緣計算領(lǐng)域都充當(dāng)著不可或缺的角色。
基于此,浪潮從實(shí)際應(yīng)用場景出發(fā),面向AI和邊緣計算開發(fā)GPU Tesla V100、FPGA、NVMe等硬件驅(qū)動,為AI訓(xùn)練、AI推理、AIStation提供硬件加速支持,為硬件設(shè)備在AI、邊緣等方面性能加速提供了先決條件。
值得提及的是,在之前U版本完成創(chuàng)建虛擬機(jī)支持加載Cyborg管理的加速資源基礎(chǔ)上,浪潮持續(xù)優(yōu)化虛擬機(jī)的高級功能。在最新V版本中完成了支持通過Cyborg管理的虛擬機(jī)的疏散和重建操作,并計劃在Wallaby版本支持對通過Cyborg管理的虛擬機(jī)的擱置和取消擱置、掛起和恢復(fù)、掛載和卸載及遷移操作,增加GPU虛擬化管理、NVME SSD驅(qū)動等功能,提高Cyborg對加速資源的管理能力。Cyborg支持虛擬機(jī)疏散和重建操作的實(shí)現(xiàn)原理及方式如下:
優(yōu)化Vitrage服務(wù) 提升查找預(yù)警智能化
此外,針對大規(guī)模部署場景,浪潮還在V版本中集成Vitrage項目提供根因分析(Root Cause Analysis)服務(wù),進(jìn)行平臺問題定位分析,建立集群內(nèi)全量資源拓?fù)洳Ω婢录M(jìn)行推導(dǎo)分析,實(shí)現(xiàn)故障問題的根因查找和異常故障的預(yù)警。
“在最新V版本中,我們根據(jù)實(shí)際應(yīng)用場景在環(huán)境部署和完善功能方面對Vitrage服務(wù)進(jìn)行了優(yōu)化。例如增強(qiáng)環(huán)境部署能力,在Kolla和Kolla-ansible項目中增加Vitrage-Persistor容器化配置,完成Vitrage服務(wù)容器化自動部署配置?!崩顺毖邪l(fā)工程師表示。
眾所周知,Vitrage數(shù)據(jù)源分資源類型和告警類型兩類,浪潮根據(jù)實(shí)際應(yīng)用場景完善根因服務(wù)相關(guān)功能,告警事件在場景規(guī)則分析時應(yīng)具備時效性,新增過期告警清理功能,統(tǒng)一為告警類型的數(shù)據(jù)源添加過期告警刪除功能,實(shí)現(xiàn)Vitrage Graph中過期告警實(shí)體的自動化刪除。增強(qiáng)Vitrage的告警事件與資源實(shí)體匹配能力方案設(shè)計及實(shí)現(xiàn)如下:
增強(qiáng)Vitrage資源實(shí)體與告警事件匹配能力后可達(dá)到的效果如下:
“我們計劃在Wallaby版本優(yōu)化資源類型的數(shù)據(jù)源,增強(qiáng)資源與告警事件的匹配能力,提高Vitrage對其他監(jiān)控系統(tǒng)的適配能力;另外持續(xù)增加新的數(shù)據(jù)源,以擴(kuò)大根因服務(wù)的支撐生態(tài)圈。”浪潮研發(fā)工程師總結(jié)道。
完善卷數(shù)據(jù)拷貝機(jī)制 提高拷貝效率
浪潮此前在單集群500節(jié)點(diǎn)大規(guī)模測試場景中發(fā)現(xiàn)了稀疏文件拷貝效率低下的問題,本次經(jīng)過深入代碼分析以及多次場景模擬測試,對Cinder項目中的卷數(shù)據(jù)拷貝機(jī)制也進(jìn)行了深度優(yōu)化和技術(shù)創(chuàng)新,在卷中稀疏文件占比較大時降低拷貝時間,提高拷貝效率。
當(dāng)卷中的數(shù)據(jù)為稀疏文件時,在數(shù)據(jù)拷貝過程中,能夠自動識別稀疏文件的空洞空間;從源卷讀取到的chunk數(shù)據(jù)為空洞數(shù)據(jù),則自動跳過向目標(biāo)卷的寫入,而僅僅改目標(biāo)卷的偏移量,從而加速卷拷貝過程。
作為私有云事實(shí)標(biāo)準(zhǔn),OpenStack吸引了國內(nèi)外幾乎所有一線廠商的參與,浪潮在V版本社區(qū)貢獻(xiàn)領(lǐng)先得益于對OpenStack長期技術(shù)投入與積累,體現(xiàn)出社區(qū)積極貢獻(xiàn)者的責(zé)任擔(dān)當(dāng)。