omniture

20分鐘上線200節(jié)點!元腦服務(wù)器操作系統(tǒng)KOS AI定制版為大模型部署提速

2024-10-29 12:18 539

北京2024年10月29日 /美通社/ -- 當前,隨著生成式人工智能和各行業(yè)的應(yīng)用快速融合,大模型在企業(yè)端被越來越多的采用,以提高效率、降低成本、增強創(chuàng)新能力。大模型開發(fā)首先要解決的,便是訓練環(huán)境的搭建問題,在算力多元異構(gòu)、依賴庫眾多、配置步驟繁瑣的情況下,如何快速搭建滿足要求的訓練環(huán)境,為底層算力平臺匹配最佳驅(qū)動,避免依賴庫及配置龐雜導致訓練環(huán)境魯棒性低的問題,成為各類大模型開發(fā)企業(yè)需要面對的挑戰(zhàn)。

為此,浪潮信息推出「元腦服務(wù)器操作系統(tǒng)KOS Al定制版」(簡稱KOS Al定制版),通過簡單2步即可實現(xiàn)大模型訓練環(huán)境部署,以搭建200節(jié)點訓練環(huán)境為例,過往需要數(shù)天時間才能完成,通過KOS AI定制版20分鐘即可完成上線可用,極大提升了大模型開發(fā)部署效率。


大模型訓練環(huán)境復雜 面臨兼容適配等多項挑戰(zhàn)

當前階段,大模型的發(fā)展仍然遵循Scaling Law,不斷增加的參數(shù)規(guī)模、訓練數(shù)據(jù)量以及計算資源,也讓大模型的部署環(huán)境變得十分復雜。大模型部署是一個系統(tǒng)性的問題,涉及到算力設(shè)備兼容、依賴庫配置、繁瑣的安裝步驟等等多個方面。

  • 在硬件方面,算力設(shè)備的多樣性增加了兼容適配復雜性。在大模型訓練環(huán)境中,集成了多種類型和規(guī)格的算力設(shè)備,如不同型號的GPU、高速互連網(wǎng)絡(luò)、高性能分布式存儲等。這些設(shè)備在硬件架構(gòu)、指令集和接口標準上存在差異,導致與操作系統(tǒng)、應(yīng)用軟件以及其他硬件設(shè)備的兼容適配變得極為復雜,同時驅(qū)動和應(yīng)用軟件選型不當將影響算力輸出效率。
  • 在軟件方面,依賴庫及配置的龐雜性對訓練環(huán)境的魯棒性構(gòu)成威脅。大模型訓練依賴大量的軟件庫、框架和配置參數(shù),這些依賴項之間存在著復雜的依賴關(guān)系和嚴格的版本兼容性要求。一旦某個依賴項出現(xiàn)問題,如版本不匹配、配置錯誤或缺失,都可能導致訓練環(huán)境崩潰或性能急劇下降。
  • 在部署方面,大模型訓練環(huán)境搭建流程比較繁瑣。算力支持層面,在確定GPU、網(wǎng)卡等硬件設(shè)備基礎(chǔ)上,需要安裝操作系統(tǒng)、下載硬件驅(qū)動并對驅(qū)動進行編譯;應(yīng)用軟件方面,下載安裝CUDA、Cudnn、DCGM等AI軟件棧,以及相關(guān)管理和監(jiān)控軟件。最后,還要運行相關(guān)Benchmark對系統(tǒng)進行性能摸底。

KOS Al定制版  "2步"搞定大模型訓練環(huán)境部署

針對用戶在大模型部署中遇到的困難,浪潮信息推出KOS Al定制版,實現(xiàn)了覆蓋驅(qū)動和應(yīng)用軟件編譯、鏡像文件構(gòu)建、系統(tǒng)發(fā)布與部署的鏡像開發(fā)全流程創(chuàng)新, 解決了部署大模型訓練環(huán)境中遇到的硬件兼容適配、依賴項龐雜及安裝部署流程繁瑣等問題,讓大模型部署化繁為簡。

針對硬件兼容適配挑戰(zhàn),浪潮信息KOS技術(shù)團隊憑借深厚的技術(shù)沉淀和經(jīng)驗積累,遴選出十余款GPU和infiniband卡的最佳驅(qū)動,驗證不同硬件環(huán)境下的軟件兼容性,優(yōu)化BIOS、底層驅(qū)動、文件系統(tǒng)和網(wǎng)絡(luò)等多項指標,實現(xiàn)平臺資源利用效率最大化。目前KOS已經(jīng)與1200+硬件板卡、250+服務(wù)器整機、400+數(shù)據(jù)庫中間件完成兼容性認證。

面對軟件依賴庫龐雜的問題,KOS Al定制版對鏡像構(gòu)建過程中的軟件包安裝列表進行了擴展,并優(yōu)化了軟件包的集成范圍和安裝順序,解決軟件安裝依賴問題,確保在集成大量軟件的情況下,操作系統(tǒng)能夠順利完成安裝,且保證系統(tǒng)安裝完成后,驅(qū)動和應(yīng)用軟件能夠正常進行編譯和安裝。同時,面對AI大模型訓練過程中某些應(yīng)用軟件體積龐大,無法直接構(gòu)建為rpm包集成至鏡像的挑戰(zhàn),采用"軟件切割與再聚合"技術(shù),將超大型軟件包進行分割,并在聚合后校驗其哈希值,以確保軟件的一致性,從而有效解決了超大軟件集成難題,實現(xiàn)了超大應(yīng)用軟件的自動化安裝。

大模型部署的關(guān)鍵是單節(jié)點環(huán)境配置。在簡化發(fā)布與部署方面,為了解決大模型訓練集群單節(jié)點環(huán)境配置復雜的問題,KOS技術(shù)團隊開發(fā)了一套環(huán)境配置自動化部署腳本。該腳本能夠智能檢測操作系統(tǒng)的啟動狀態(tài),只在系統(tǒng)安裝完成后的首次重啟時自動運行,確保在不同節(jié)點上快速部署大模型運行環(huán)境。在此之后的系統(tǒng)啟動中,該腳本將不再執(zhí)行,從而實現(xiàn)集群環(huán)境中單節(jié)點環(huán)境的自動部署。


用戶依托KOS AI定制版,僅需2步即可實現(xiàn)大模型訓練環(huán)境快速部署。

步驟1:利用PXE實現(xiàn)自動化系統(tǒng)部署

KOS AI定制版集成了大模型訓練環(huán)境部署所需的驅(qū)動、應(yīng)用軟件和依賴庫等,用戶只需要把該定制版鏡像當作普通鏡像一樣進行自動化部署,通過PXE方式實現(xiàn)操作系統(tǒng)自動化安裝。

步驟2:正常開機啟動,完成環(huán)境部署

定制版鏡像安裝完成后,通過管理節(jié)點向計算節(jié)點下發(fā)重啟指令,計算節(jié)點重啟后,大模型訓練環(huán)境部署即可完成。


面對操作系統(tǒng)與AI結(jié)合的趨勢,KOS定位智算時代最A(yù)I的操作系統(tǒng),全面優(yōu)先擁抱AI,深度融合AI能力。KOS Al定制版簡化了大模型部署流程,通過Al定制版部署大模型訓練環(huán)境具有簡單高效、廣泛兼容和運行穩(wěn)定等特點,大幅降低了用戶開發(fā)大模型的技術(shù)門檻。

消息來源:浪潮信息
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection