omniture

浪潮伙伴故事 -- 西部數(shù)據(jù):智算時(shí)代需要什么樣的存儲(chǔ)?

2021-05-08 17:29 7135
在IPF2021大會(huì)上,浪潮提出了元腦生態(tài)2.0計(jì)劃,打造智算時(shí)代開(kāi)放包容生態(tài)體系,以吸納更多合作伙伴到智算產(chǎn)業(yè)大生態(tài)之中。西部數(shù)據(jù)與浪潮存儲(chǔ)堪稱(chēng)成功合作的典范,針對(duì)智慧業(yè)務(wù)場(chǎng)景,雙方緊密配合,攜手打造解決方案。

北京2021年5月8日 /美通社/ -- 在IPF2021大會(huì)上,浪潮提出在智算時(shí)代里,智慧應(yīng)用無(wú)處不在,也給計(jì)算和存儲(chǔ)帶來(lái)了新需求,隨著產(chǎn)業(yè)轉(zhuǎn)型加速,面臨著多元化、巨量化和生態(tài)化的挑戰(zhàn)。

事實(shí)上,伴隨著計(jì)算走向異構(gòu)化、復(fù)雜化,AI模型走向巨量化,在存儲(chǔ)層面同樣會(huì)面臨著海量數(shù)據(jù)的誕生、存儲(chǔ)、管理和應(yīng)用等一系列挑戰(zhàn)。高速發(fā)展的人工智能在對(duì)數(shù)字經(jīng)濟(jì)產(chǎn)生巨大賦能和推動(dòng)的同時(shí),也推動(dòng)整個(gè)計(jì)算產(chǎn)業(yè)往“智算”方向演進(jìn),巨量模型和海量數(shù)據(jù),對(duì)算力和存儲(chǔ)的需求呈指數(shù)級(jí)增長(zhǎng),也將推動(dòng)著存儲(chǔ)架構(gòu)走向創(chuàng)新。

AI摩爾定律背后的一筆數(shù)據(jù)賬

過(guò)去,應(yīng)用和場(chǎng)景通常是圍繞著業(yè)務(wù)流程展開(kāi);如今,幾乎所有的智慧應(yīng)用都是通過(guò)數(shù)據(jù)和算法來(lái)驅(qū)動(dòng)。

數(shù)據(jù)正在成為智算時(shí)代最核心的生產(chǎn)要素。隨著《十四五規(guī)劃報(bào)告》的頒布,在政策層面上推動(dòng)數(shù)字時(shí)代到來(lái)、激活數(shù)據(jù)要素潛能,加快建設(shè)數(shù)字經(jīng)濟(jì)、產(chǎn)業(yè)數(shù)字化等,為數(shù)字化的智慧應(yīng)用場(chǎng)景掃除了最后的障礙。

在一個(gè)智慧應(yīng)用井噴的時(shí)代里,解決算力需求首當(dāng)其沖,但亦不能忽視背后海量數(shù)據(jù)帶來(lái)的挑戰(zhàn)。以往,計(jì)算機(jī)處理器性能通常是遵循摩爾定律,每?jī)赡曜笥視r(shí)間增長(zhǎng)一倍。如今隨著人工智能應(yīng)用在多個(gè)行業(yè)遍地開(kāi)花,模型愈發(fā)復(fù)雜,AI在訓(xùn)練和推理對(duì)于算力的需求更加渴望。根據(jù)一些機(jī)構(gòu)統(tǒng)計(jì),AI訓(xùn)練所需要的算力每3.43個(gè)月就翻一倍,AI摩爾定律揭示著一個(gè)對(duì)于算力極度渴求的時(shí)代到來(lái)。

以O(shè)penAI的GPT模型為例,GPT-1模型參數(shù)只有1.1億個(gè),預(yù)訓(xùn)練數(shù)據(jù)量為5GB,最大層數(shù)為12層,到了GPT-2,模型參數(shù)增加到15億個(gè),預(yù)訓(xùn)練數(shù)據(jù)量達(dá)到40GB,最大層數(shù)突破到48層;而去年五月發(fā)布的GPT-3,模型參數(shù)則高達(dá)1750億個(gè),,預(yù)訓(xùn)練數(shù)據(jù)量高達(dá)45TB,最大層數(shù)高達(dá)96層。無(wú)論是模型規(guī)模、數(shù)據(jù)量、訓(xùn)練層數(shù)都是指數(shù)級(jí)增加。

僅僅一個(gè)模型在短短幾年內(nèi)就發(fā)生了驚人的演進(jìn),隨著大量AI模型在行業(yè)中得到應(yīng)用,隨之而來(lái)的海量數(shù)據(jù)可想而知。浪潮存儲(chǔ)產(chǎn)品線總經(jīng)理李輝表示,“在未來(lái)的智算時(shí)代中,海量數(shù)據(jù)的處理、存儲(chǔ)、流動(dòng)與管理將面臨著嚴(yán)峻的挑戰(zhàn)。”

以自動(dòng)駕駛為例,一輛L4級(jí)的自動(dòng)駕駛車(chē)輛,每天就能夠誕生高達(dá)60TB的數(shù)據(jù),根據(jù)法規(guī)需求,這些數(shù)據(jù)還要保存至少30年以上,自動(dòng)駕駛公司每天還需要不斷訓(xùn)練新數(shù)據(jù),以實(shí)現(xiàn)模型的優(yōu)化。光自動(dòng)駕駛這一個(gè)場(chǎng)景的數(shù)據(jù)存儲(chǔ)、應(yīng)用、流動(dòng)和歸檔就充滿了挑戰(zhàn)。

西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼
西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼

“面對(duì)人工智能應(yīng)用帶來(lái)的挑戰(zhàn),一定不能只用一種技術(shù)來(lái)解決,而是需要在存儲(chǔ)架構(gòu)層進(jìn)行創(chuàng)新?!?nbsp;西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼表示。

存儲(chǔ)架構(gòu)走向變革

歸根結(jié)底,數(shù)字經(jīng)濟(jì)的快速發(fā)展,讓智慧應(yīng)用在數(shù)據(jù)類(lèi)型、數(shù)據(jù)量、數(shù)據(jù)處理等方面的需求比以往有了指數(shù)級(jí)的提升。如何讓這些海量數(shù)據(jù)能夠存得下、用得快、流得動(dòng)和管得好,是當(dāng)下存儲(chǔ)架構(gòu)最具挑戰(zhàn)的難題。

為此,西部數(shù)據(jù)開(kāi)出了它的“組合藥方”:去中心化分布式存儲(chǔ)、分層存儲(chǔ)和分區(qū)存儲(chǔ)三大創(chuàng)新存儲(chǔ)架構(gòu)。

首先,去中心化分布式存儲(chǔ)解決的是讓更多數(shù)據(jù)存下來(lái)的難題。眾所周知,隨著區(qū)塊鏈、人工智能等技術(shù)逐漸在業(yè)務(wù)場(chǎng)景中走向融合,基于這些技術(shù)的智慧應(yīng)用正在數(shù)字版權(quán)、供應(yīng)鏈管理、醫(yī)療健康等多個(gè)行業(yè)誕生,隨之而來(lái)的就是海量數(shù)據(jù),而去中心化分布式存儲(chǔ)將大幅降低存儲(chǔ)成本,存儲(chǔ)更多數(shù)據(jù)。

其次,分層存儲(chǔ)解決的是讓存儲(chǔ)資源可以物盡其用,充分滿足數(shù)據(jù)生命周期不同階段對(duì)于存儲(chǔ)資源的需求。劉鋼透露,西部數(shù)據(jù)根據(jù)數(shù)據(jù)對(duì)存儲(chǔ)時(shí)延、容量的需求,將分層存儲(chǔ)架構(gòu)劃分為五層:極熱存儲(chǔ)、熱存儲(chǔ)、溫存儲(chǔ)、冷存儲(chǔ)和極冷存儲(chǔ),并且每一層都有對(duì)應(yīng)產(chǎn)品來(lái)保障。

比如像一些內(nèi)存計(jì)算、數(shù)據(jù)分析類(lèi)的場(chǎng)景,對(duì)于數(shù)據(jù)處理性能極度渴望,就更加適合采用極熱存儲(chǔ);而自動(dòng)駕駛等AI場(chǎng)景,對(duì)于數(shù)據(jù)處理性能、容量都有著很高的要求,采用熱存儲(chǔ)就非常符合?!皩?duì)于極熱存儲(chǔ)和熱存儲(chǔ)、溫存儲(chǔ),西部數(shù)據(jù)都有著高性能SSD、主流SSD等不同方案來(lái)滿足需求?!眲摻榻B道。

眾所周知,在智慧應(yīng)用遍地開(kāi)花的今天,閃存的容量、性能和成本正變得至關(guān)重要。尤其是當(dāng)前SSD容量點(diǎn)正在從4TB升級(jí)到8TB的關(guān)鍵時(shí)期,對(duì)于閃存廠商的產(chǎn)品、技術(shù)、產(chǎn)能是一場(chǎng)大考。劉鋼直言:“如今,大規(guī)模產(chǎn)能對(duì)于SSD很關(guān)鍵,西部數(shù)據(jù)和鎧俠戰(zhàn)友全球三分之一的份額,可以在產(chǎn)能層面提供充足的保障?!?/p>

此外,西部數(shù)據(jù)在閃存上的技術(shù)也讓其在智慧應(yīng)用中游刃有余,“西部數(shù)據(jù)在2月已經(jīng)發(fā)布了第六代162層3D NAND技術(shù),橫向單元陣列密度比上一代提升了10%,晶圓尺寸減少40%,IO性能提升66%,可以滿足不斷增長(zhǎng)的數(shù)據(jù)處理性能需求?!眲撗a(bǔ)充道:“在充足產(chǎn)能和領(lǐng)先技術(shù)的基礎(chǔ)上,西部數(shù)據(jù)還在控制器、高性能固件等縱向集成上進(jìn)行優(yōu)化,確保閃存在容量、性能、成本、功耗上實(shí)現(xiàn)最優(yōu)?!?/p>

第三個(gè)創(chuàng)新存儲(chǔ)架構(gòu)則是分區(qū)存儲(chǔ),它致力于解決性能、規(guī)模、成本等問(wèn)題,不再需要去過(guò)將近28%的榮譽(yù)空間,性能和QoS大幅提升,最大程度提升了存儲(chǔ)規(guī)模和利用率,并且有效降低存儲(chǔ)的TCO。

更加重要的是,西部數(shù)據(jù)的創(chuàng)新存儲(chǔ)架構(gòu)已經(jīng)在云服務(wù)、生物醫(yī)藥、區(qū)塊鏈等多個(gè)業(yè)務(wù)場(chǎng)景中得到了充分實(shí)踐與考驗(yàn)。

西部數(shù)據(jù)與浪潮存儲(chǔ):智算時(shí)代合作典范

面對(duì)智算時(shí)代多元化、巨量化和生態(tài)離散化的挑戰(zhàn),不是一家公司所能應(yīng)對(duì)的。為此,浪潮在本次IPF大會(huì)上提出了元腦生態(tài)2.0計(jì)劃,打造智算時(shí)代開(kāi)放包容生態(tài)體系,以吸納更多合作伙伴到智算產(chǎn)業(yè)大生態(tài)之中。

事實(shí)上,西部數(shù)據(jù)與浪潮存儲(chǔ)堪稱(chēng)成功合作的典范,針對(duì)智慧業(yè)務(wù)場(chǎng)景,雙方緊密配合,攜手打造解決方案。例如,西部數(shù)據(jù)與浪潮存儲(chǔ)推出聯(lián)合解決方案,可以提供極致的存儲(chǔ)容量,同時(shí)降低集群的節(jié)點(diǎn)數(shù)量,與傳統(tǒng)方案相比,大幅降低功耗和機(jī)柜空間成本。

浪潮存儲(chǔ)聯(lián)合伙伴構(gòu)建元腦新存儲(chǔ)生態(tài)
浪潮存儲(chǔ)聯(lián)合伙伴構(gòu)建元腦新存儲(chǔ)生態(tài)

此外,浪潮存儲(chǔ)在元腦生態(tài)2.0基礎(chǔ)上推出了“元腦新存儲(chǔ)生態(tài)”,聯(lián)合各類(lèi)合作伙伴構(gòu)建“以用戶為中心、以應(yīng)用為導(dǎo)向”的場(chǎng)景共同體,強(qiáng)調(diào)存儲(chǔ)系統(tǒng)針對(duì)智慧應(yīng)用將走向場(chǎng)景化、細(xì)分化、個(gè)性化,這恰恰與西部數(shù)據(jù)所強(qiáng)調(diào)針對(duì)業(yè)務(wù)數(shù)據(jù)特性采用不同技術(shù)的觀點(diǎn)高度契合。未來(lái),西部數(shù)據(jù)與浪潮存儲(chǔ)在元腦新存儲(chǔ)生態(tài)建設(shè)上同樣有著巨大的合作空間。

李輝表示:“未來(lái)浪潮存儲(chǔ)基于‘云存智用運(yùn)籌新數(shù)據(jù)’理念,將與合作伙伴持續(xù)加強(qiáng)合作,不斷以創(chuàng)新的數(shù)據(jù)基礎(chǔ)設(shè)施解決方案,應(yīng)對(duì)市場(chǎng)多樣化的需求,為行業(yè)用戶創(chuàng)造更多價(jià)值?!?/p>

消息來(lái)源:浪潮
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營(yíng)動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購(gòu)消息。掃描二維碼,立即訂閱!
collection