浪潮存儲 為中汽創(chuàng)智自動駕駛訓(xùn)練提速

北京2021年11月11日 /美通社/ -- 中汽創(chuàng)智科技有限公司由中國一汽、東風(fēng)公司、長安汽車、南京江寧經(jīng)開科技等企業(yè)共同出資160億元設(shè)立，落戶南京江寧經(jīng)濟(jì)技術(shù)開發(fā)區(qū)。

中汽創(chuàng)智選擇浪潮分布式存儲AS13000G5系列的M和H節(jié)點(diǎn)，構(gòu)建了自動駕駛訓(xùn)練模型，進(jìn)一步提升GPU集群自動駕駛模型訓(xùn)練過程中的數(shù)據(jù)讀寫速度，大大加快研發(fā)速度。

中汽創(chuàng)智科技有限公司的成立，是落實(shí)制造強(qiáng)國、科技強(qiáng)國、汽車強(qiáng)國等國家戰(zhàn)略的重要舉措。央企新能源汽車整車領(lǐng)域的產(chǎn)業(yè)投資、技術(shù)研發(fā)將集中在中汽創(chuàng)智，有利于推動產(chǎn)業(yè)資源整合和開放合作，加快在制約當(dāng)前產(chǎn)業(yè)發(fā)展的“卡脖子”技術(shù)和下一代關(guān)鍵核心技術(shù)領(lǐng)域的集中攻關(guān)和突破。中汽創(chuàng)智聚焦智能底盤、氫燃料動力、智能網(wǎng)聯(lián)三大業(yè)務(wù)領(lǐng)域，致力于成為汽車行業(yè)技術(shù)創(chuàng)新的引領(lǐng)者、產(chǎn)業(yè)孵化的踐行者、數(shù)據(jù)服務(wù)的驅(qū)動者。

部署自動駕駛訓(xùn)練平臺，推進(jìn)自動駕駛技術(shù)發(fā)展

中汽創(chuàng)智計劃建設(shè)一套自動駕駛模型訓(xùn)練平臺。借助平臺的運(yùn)算能力和存儲能力，為自動駕駛、人工智能等領(lǐng)域相關(guān)技術(shù)的研發(fā)，提供IT資源支撐。

模型訓(xùn)練需要頻繁在存儲設(shè)備中讀寫數(shù)據(jù)，對存儲系統(tǒng)性能要求較高，原始模型開發(fā)的過程中需要調(diào)用TB級的圖片數(shù)據(jù)集，且模型在開發(fā)的過程中也會產(chǎn)生很多中間數(shù)據(jù)需要存儲。

除了數(shù)據(jù)讀寫和大量圖片的處理，中汽創(chuàng)智自動駕駛訓(xùn)練模型的搭建還給數(shù)據(jù)傳輸帶來挑戰(zhàn)，傳統(tǒng)存儲在面對數(shù)據(jù)短時間內(nèi)增長迅速，傳統(tǒng)硬盤效率低，無法發(fā)揮數(shù)據(jù)的及時性和準(zhǔn)確性。

浪潮AS13000-H，如何HOLD住海量數(shù)據(jù)？

浪潮為中汽創(chuàng)智提供了高性能AS13000G5-H型號和13000G5-M存儲組合方案。提供了不低于50GB/s的聚合帶寬和PB級存儲空間，滿足了自動駕駛訓(xùn)練模型對大量圖片處理和數(shù)據(jù)頻繁讀寫的需求。助力中汽創(chuàng)智自動駕駛訓(xùn)練模型平臺的建設(shè)。

浪潮AS13000-H分布式文件存儲系統(tǒng)采用元數(shù)據(jù)節(jié)點(diǎn)與數(shù)據(jù)節(jié)點(diǎn)分離的網(wǎng)絡(luò)架構(gòu)，元數(shù)據(jù)與數(shù)據(jù)的讀寫互不影響。同時，AS13000-H的軟件系統(tǒng)面向小文件進(jìn)行了專門的調(diào)優(yōu)和設(shè)計，使得AS13000-H更加適合圖片數(shù)據(jù)集訓(xùn)練這種小文件頻繁讀寫的場景。從而進(jìn)一步提升GPU集群自動駕駛模型訓(xùn)練過程中的數(shù)據(jù)讀寫速度，推薦配置2個元數(shù)據(jù)節(jié)點(diǎn)和2個數(shù)據(jù)節(jié)點(diǎn)。元數(shù)據(jù)節(jié)點(diǎn)之間，數(shù)據(jù)節(jié)點(diǎn)之間開啟鏡像模式，實(shí)現(xiàn)元數(shù)據(jù)和數(shù)據(jù)的兩副本存儲，通過雙副本機(jī)制，保障中汽創(chuàng)智自動駕駛模型訓(xùn)練過程中數(shù)據(jù)的安全。每臺元數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)均配有2套網(wǎng)絡(luò)。一套為10Gb萬兆以太網(wǎng)絡(luò)，接入業(yè)務(wù)交換機(jī)，實(shí)現(xiàn)研發(fā)人員和管理人員對于存儲設(shè)備的前端接入和訪問。另外一套為100Gb EDR Infiniband網(wǎng)絡(luò)，接入集群內(nèi)部用于數(shù)據(jù)交換的IB交換機(jī)，實(shí)現(xiàn)模型訓(xùn)練過程中計算節(jié)點(diǎn)與存儲節(jié)點(diǎn)之間的數(shù)據(jù)讀寫，最大化保障數(shù)據(jù)傳輸效率。

考慮到用于模型訓(xùn)練的圖片數(shù)據(jù)集及部分中間結(jié)果需要在開發(fā)機(jī)之間共享，因此，存儲設(shè)備應(yīng)具備共享網(wǎng)盤功能，以便不同開發(fā)機(jī)之間對同一份訓(xùn)練數(shù)據(jù)集進(jìn)行讀寫，并對中間結(jié)果進(jìn)行共享。浪潮存儲采用3臺4U36盤位存儲服務(wù)器構(gòu)成分布式存儲系統(tǒng)的硬件平臺；軟件層面，使用經(jīng)過浪潮商業(yè)化開發(fā)的Ceph文件系統(tǒng)。通過軟件定義存儲技術(shù)，將3臺存儲服務(wù)器定義為一臺分布式存儲系統(tǒng)。該系統(tǒng)可以同時支持文件、對象、塊三種存儲類型，本項目中使用文件存儲格式進(jìn)行開發(fā)及存儲環(huán)境搭建，幫助用戶實(shí)現(xiàn)對存儲資源的最大化利用，有效降低存儲開銷，實(shí)現(xiàn)高效數(shù)據(jù)存取和維護(hù)，確保數(shù)據(jù)安全可靠。

目前，中汽創(chuàng)智自動駕駛訓(xùn)練模型平臺已經(jīng)全面投入使用，在智能座艙、仿真與測試、自動駕駛等多個業(yè)務(wù)中開展大數(shù)據(jù)分析和高性能訓(xùn)練，與中汽創(chuàng)智的云平臺進(jìn)行對接，形成統(tǒng)一的數(shù)據(jù)中心級別的大平臺。