omniture

憶聯(lián)PCIe 5.0 SSD以軟硬協(xié)同的高可靠性,支撐大模型全流程訓(xùn)練

2025-03-11 17:20 1179

深圳2025年3月11日 /美通社/ -- 當(dāng)前,大模型全流程訓(xùn)練對數(shù)據(jù)存儲系統(tǒng)的要求已突破傳統(tǒng)邊界。企業(yè)級SSD作為AI算力基礎(chǔ)設(shè)施的核心組件,其高可靠性、高性能及智能化管理能力,正成為支撐大模型訓(xùn)練效率與穩(wěn)定性的關(guān)鍵。

從海量數(shù)據(jù)的預(yù)處理到高頻參數(shù)迭代,從模型微調(diào)到實(shí)時(shí)推理,大模型運(yùn)行的每一個環(huán)節(jié)都需存儲設(shè)備在"硬指標(biāo)"與"軟實(shí)力"間達(dá)成平衡。從產(chǎn)品可靠性視角出發(fā),憶聯(lián)新一代PCIe Gen5 ESSD UH812a/UH832a可高效支撐大模型全流程訓(xùn)練。

可靠性硬指標(biāo):從容應(yīng)對數(shù)據(jù)洪流"耐力賽" 

大模型訓(xùn)練階段,需處理從10TB到100PB量級不等的海量數(shù)據(jù)集,讀寫頻率高、負(fù)載強(qiáng)度大。企業(yè)級SSD側(cè)重以高耐久性、大容量、混合讀寫性能等"硬指標(biāo)"應(yīng)對挑戰(zhàn)。

憶聯(lián)UH812a/UH832a采用最新一代PCIe 5.0接口,其存儲帶寬、時(shí)延、密度、耐久性、數(shù)據(jù)完整性和壽命與穩(wěn)定性等核心指標(biāo)表現(xiàn),均高于行業(yè)標(biāo)準(zhǔn),對比同代際產(chǎn)品,處于業(yè)內(nèi)領(lǐng)先水平。

  • 高速帶寬與超低延遲 

PCIe 5.0高速接口:支持單雙端口、NVMe2.0協(xié)議。對比PCIe 4.0帶寬翻倍,可高效處理海量非結(jié)構(gòu)化數(shù)據(jù)(文本、圖像等)的清洗、標(biāo)注和格式轉(zhuǎn)換。
高吞吐量:順序讀寫14900MB/s-10500MB/s,峰值性能領(lǐng)先業(yè)內(nèi)同代際產(chǎn)品。
超低延遲:4K隨機(jī)讀取QD1延遲≤55μs,對比上一代(UH811a系列)改善43%。


  • 高密度與大容量

單盤容量可達(dá)15.36TB:15.36TB容量SSD的TBW通常為 28PBW-70PBW,滿足大模型參數(shù)存儲需求,減少數(shù)據(jù)遷移開銷。

  • 錯誤率與數(shù)據(jù)完整性

UBER(不可恢復(fù)錯誤率):1E-18。JESD218A規(guī)范(固態(tài)硬盤可靠性測試方法)下,企業(yè)級SSD UBER滿足 ≤1E-17即可,部分高端產(chǎn)品通過技術(shù)優(yōu)化,可提升至1E-18。

  • 高耐久性

DWPD(每日全盤寫入次數(shù)):高達(dá)3 DWPD(UH832a)。5年保修期內(nèi),可滿足用戶每天3次全盤的數(shù)據(jù)寫入量,有力承載海量數(shù)據(jù)寫入的應(yīng)用場景。

  • 高置信度

MTBF(平均故障間隔時(shí)間):≥250萬小時(shí)。累計(jì)1200+片盤測試。
AFR(年失效率):≤0.35%

根據(jù)OCP(開放計(jì)算項(xiàng)目)規(guī)范,企業(yè)級SSD的MTBF≥200萬小時(shí)(運(yùn)行溫度0°-55°)、AFR(年失效率)≤0.44%即可。憶聯(lián)UH812a/UH832a高置信度的MTBF和AFR可輕松滿足模型訓(xùn)練場景需求。


系統(tǒng)級可靠性軟實(shí)力:毫秒級響應(yīng)推理"敏捷戰(zhàn)" 

進(jìn)入模型微調(diào)與推理階段,讀寫數(shù)據(jù)量降低,參數(shù)讀取速度和模型加載速度變得更為關(guān)鍵,存儲需求轉(zhuǎn)向低延遲與高服務(wù)質(zhì)量(QoS)。此時(shí),企業(yè)級SSD需以"軟實(shí)力"極速響應(yīng)推理"敏捷戰(zhàn)"。

憶聯(lián)UH812a/UH832a針對AI推理場景的典型需求,通過算法優(yōu)化、容錯與恢復(fù)機(jī)制、智能監(jiān)控與維護(hù)、數(shù)據(jù)保護(hù)等系統(tǒng)級可靠性設(shè)計(jì),以及積累多年的完備測試驗(yàn)證能力,構(gòu)建了多維度的"軟實(shí)力"保障體系。


  • 固件算法優(yōu)化 

增強(qiáng)的LDPC糾錯算法:提供比Flash顆粒要求更高的糾錯能力,能夠精準(zhǔn)識別并修正數(shù)據(jù)傳輸與存儲過程中出現(xiàn)的各類錯誤。LDPC+DSP算法引擎融合硬判決、軟判決、DSP等手段,使Flash壽命最高提升5倍。

全場景QoS調(diào)優(yōu):隨機(jī)讀99.999%的QoS時(shí)延小于1ms,達(dá)到業(yè)界領(lǐng)先。

智能磨損平衡技術(shù):智能均衡Flash顆粒磨損壓力,區(qū)分"健壯"與"脆弱"的NAND單元,優(yōu)化寫入分布,避免NAND局部過度擦寫,并結(jié)合智能健康監(jiān)測提前預(yù)警潛在風(fēng)險(xiǎn),提升SSD壽命。

智能FSP算法:通過軟硬件協(xié)同設(shè)計(jì),結(jié)合介質(zhì)特性,有效解決SSD在長期使用中性能衰減、數(shù)據(jù)可靠性下降的痛點(diǎn)。業(yè)界最低誤碼率的FSP算法保護(hù)SSD生命末期可靠,使得SSD全生命周期性能浮動小于10%。

  • 容錯與恢復(fù)機(jī)制 

內(nèi)置類RAID算法:基于智能的類RAID算法,當(dāng)介質(zhì)數(shù)據(jù)出現(xiàn)錯誤后,可以恢復(fù)數(shù)據(jù),單芯片故障不影響數(shù)據(jù)完整性。

Flexible RAID算法:在發(fā)生Flash器件失效后,將主動恢復(fù)故障Flash中的數(shù)據(jù)并繼續(xù)對數(shù)據(jù)進(jìn)行RAID保護(hù)。

掉電保護(hù):當(dāng)服務(wù)器異常下電時(shí),通過內(nèi)置電容在斷電瞬間維持供電,確保硬盤內(nèi)的數(shù)據(jù)不丟失,優(yōu)先寫入緩存數(shù)據(jù),防止模型訓(xùn)練中斷導(dǎo)致模型參數(shù)丟失。

  • 智能監(jiān)控與預(yù)測性維護(hù) 

健康狀態(tài)報(bào)告:實(shí)時(shí)檢測設(shè)備剩余壽命、溫度、IO統(tǒng)計(jì)、壞塊率等指標(biāo)。支持設(shè)備診斷、監(jiān)測和SMART信息上報(bào)。

數(shù)據(jù)巡檢技術(shù):周期性巡檢錯誤、處理壞塊、校驗(yàn)數(shù)據(jù)等,在后臺對全盤數(shù)據(jù)進(jìn)行校驗(yàn)檢查,可有效規(guī)避數(shù)據(jù)失真。若數(shù)據(jù)有失真風(fēng)險(xiǎn),則及時(shí)搬遷此部分?jǐn)?shù)據(jù),并屏蔽該Flash空間,避免業(yè)務(wù)讀取錯誤數(shù)據(jù),確保數(shù)據(jù)可靠性、完整性和設(shè)備健康。

NVMe-MI帶外管理:支持通過訪問帶外通道進(jìn)行設(shè)備管理。如:軟硬件狀態(tài)監(jiān)控、主機(jī)業(yè)務(wù)性能監(jiān)控、SSD固件升級與激活、帶外業(yè)務(wù)管理等。

  • 全鏈路數(shù)據(jù)保護(hù) 

端到端數(shù)據(jù)保護(hù):保護(hù)整個數(shù)據(jù)路徑中的數(shù)據(jù),支持用戶通過DIF域進(jìn)行數(shù)據(jù)保護(hù),數(shù)據(jù)在盤片內(nèi)部各模塊間傳輸時(shí)均有校驗(yàn)保護(hù),應(yīng)用于大模型推理的復(fù)雜場景,可顯著降低數(shù)據(jù)丟失風(fēng)險(xiǎn)并延長SSD使用壽命。

高級Flash訪問技術(shù):組合應(yīng)用Flash顆粒的Read retry和Adaptive read技術(shù),有效保證數(shù)據(jù)的有效性。

  • 深度調(diào)優(yōu)及驗(yàn)證

企業(yè)級研發(fā)實(shí)驗(yàn)室:可開展從軟件研發(fā)、算法到芯片、硬件及軟件測試等全方位的測試驗(yàn)證任務(wù)。基于行業(yè)三大標(biāo)準(zhǔn)規(guī)范(JEDEC規(guī)范、SNIA和OCP),擁有強(qiáng)大的產(chǎn)品驗(yàn)證及深度調(diào)優(yōu)能力,通過多種可靠性專項(xiàng)驗(yàn)證測試,保障客戶使用的SSD具備長期可靠性和穩(wěn)定性。

全流程可靠性驗(yàn)證:從白盒、灰盒、黑盒等多維度保障軟件特性功能和可靠性,已累計(jì)可靠性專項(xiàng)測試用例4000+。同時(shí)構(gòu)建了兼容性CI,持續(xù)累積可靠性測試強(qiáng)度,測試規(guī)模和測試壓力保持業(yè)界標(biāo)桿水平。


綜上所述,實(shí)現(xiàn)企業(yè)級SSD的高可靠性需"軟硬結(jié)合",既要硬指標(biāo)達(dá)標(biāo)(如MTBF、UBER、AFR),也需軟實(shí)力優(yōu)異(如算法優(yōu)化、容錯與恢復(fù)、高標(biāo)準(zhǔn)測試驗(yàn)證等),通過構(gòu)建"零數(shù)據(jù)丟失"的可靠防線,方能支撐大模型從PB級數(shù)據(jù)訓(xùn)練到毫秒級推理響應(yīng)的全流程需求。

作為企業(yè)級PCIe 5.0標(biāo)桿產(chǎn)品,憶聯(lián)UH812a/UH832a將以穩(wěn)定可靠的存力底座激發(fā)算力潛能,為客戶與伙伴提供堅(jiān)實(shí)的數(shù)據(jù)存儲基礎(chǔ)設(shè)施保障。

消息來源:UnionMemory憶聯(lián)
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動態(tài)、財(cái)報(bào)信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection