omniture

天文級(jí)數(shù)據(jù)底座,促成“中國天眼”全球邀約

2021-08-24 11:37 5034

北京2021年8月24日 /美通社/ -- 作為國之重器“500米口徑球面射電望遠(yuǎn)鏡”(簡(jiǎn)稱:FAST) -- “中國天眼”,向全球發(fā)出邀約,各國科學(xué)工作者均可以通過在線方式提交觀測(cè)申請(qǐng)。是什么“底氣”,讓剛剛正式運(yùn)行一年多的中國天眼就有如此的大舉措?……這與其不斷優(yōu)化、擴(kuò)容、升級(jí)其超大規(guī)模數(shù)據(jù)基礎(chǔ)設(shè)施有著何種密不可分的關(guān)系?

中國天眼,與世界共見未來
中國天眼,與世界共見未來

“中國天眼”FAST,作為全球口徑最大、靈敏度最高的射電望遠(yuǎn)鏡,以其具備能夠觀測(cè)到130多億光年,即接近宇宙邊緣區(qū)域的“捕獲”能力,正在試圖回答兩千多年前屈原面對(duì)浩瀚宇宙時(shí)所發(fā)出“問天” -- 圜則九重,孰營度之?惟茲何功,孰初作之?”。

精耕天文級(jí)數(shù)據(jù) “中國天眼”贏得世界矚目

截至2021年年初,“中國天眼”FAST在經(jīng)歷調(diào)試、試運(yùn)行到正式開放運(yùn)行,其觀測(cè)服務(wù)已累積近6000個(gè)機(jī)時(shí)、發(fā)現(xiàn)300多顆脈沖星?;贔AST數(shù)據(jù)發(fā)表的高質(zhì)量論文達(dá)40余篇,其中快速射電暴相關(guān)研究成果成功入選《自然》2020年十大科學(xué)發(fā)現(xiàn)。

正如“中國天眼”FAST之父 -- 南仁東在其與同事所撰寫的“FAST的進(jìn)展 -- 科學(xué)、技術(shù)與設(shè)備”一文中所指出的,“FAST成功運(yùn)行離不開一套穩(wěn)定且高效的觀測(cè)模式規(guī)劃及數(shù)據(jù)處理系統(tǒng)?!庇纱丝梢姡@得高質(zhì)量、完整性的天文數(shù)據(jù)對(duì)FAST能否有效支撐科研工作起著至關(guān)重要的作用。伴隨著FAST持續(xù)、系統(tǒng)的科學(xué)產(chǎn)出,它也正在面臨來自數(shù)據(jù)處理層面的巨大挑戰(zhàn)。

在FAST采用L波段的19波束饋源接收機(jī)之后,其每秒最高傳輸基帶數(shù)據(jù)從此前3GB左右,直接飆升到每秒38G,平均每小時(shí)接收到的有效科學(xué)數(shù)據(jù)近3.6TB。隨著FAST步入常規(guī)運(yùn)行,觀測(cè)數(shù)據(jù)量和科學(xué)目標(biāo)的持續(xù)增加,F(xiàn)AST多科學(xué)目標(biāo)巡天每天將會(huì)產(chǎn)生約500TB的零級(jí)未壓縮數(shù)據(jù)。

面對(duì)規(guī)模大、來源廣、多樣化、多時(shí)相、多尺度、高維度、高復(fù)雜性和非結(jié)構(gòu)化等特點(diǎn)的天文大數(shù)據(jù),F(xiàn)AST急需構(gòu)建起一個(gè)具備高帶寬數(shù)據(jù)實(shí)時(shí)上傳、讀取,存儲(chǔ)以及滿足HPC、AI等不同算力需求的超大規(guī)模數(shù)據(jù)處理平臺(tái)。

打破數(shù)據(jù)處理“限高” FAST實(shí)現(xiàn)持續(xù)“提速”

繼浪潮存儲(chǔ)首次為“中國天眼”FAST提供高性能和高密度兩種分布式存儲(chǔ)節(jié)點(diǎn)后,2021年,浪潮存儲(chǔ)再次為其提供分布式存儲(chǔ)高密度節(jié)點(diǎn)。針對(duì)“中國天眼”FAST不同階段對(duì)巨量天文數(shù)據(jù)處理的需求,天眼工程師與浪潮存儲(chǔ)一起通過對(duì)業(yè)務(wù)場(chǎng)景需求的深入洞察和研究,共同探索分布式存儲(chǔ)技術(shù)在教科研應(yīng)用場(chǎng)景的方案優(yōu)化和定制開發(fā),保證了“中國天眼”FAST觀測(cè)和研究任務(wù)的持續(xù)推進(jìn)。

在“中國天眼”FAST科研數(shù)據(jù)中心升級(jí)過程中,浪潮存儲(chǔ)獨(dú)創(chuàng)性地在一套分布式存儲(chǔ)平臺(tái)AS13000G5中部署了面向高性能計(jì)算和AI應(yīng)用的H節(jié)點(diǎn)和面向高密度場(chǎng)景的M60兩種節(jié)點(diǎn)。H節(jié)點(diǎn)有效提升了天文大數(shù)據(jù)處理和分析的效率。與此形成呼應(yīng),M60節(jié)點(diǎn)憑借接近1PB的單節(jié)點(diǎn)容量,為FAST提供了海量存儲(chǔ)空間。

中國天眼超大規(guī)模數(shù)據(jù)處理平臺(tái)
中國天眼超大規(guī)模數(shù)據(jù)處理平臺(tái)

整套分布式存儲(chǔ)平臺(tái)實(shí)現(xiàn)了冷熱數(shù)據(jù)分層存儲(chǔ),全面提升天文大數(shù)據(jù)存儲(chǔ)、處理和實(shí)時(shí)分析能力。借助分布式存儲(chǔ)平臺(tái)所展開的AI深度學(xué)習(xí),實(shí)現(xiàn)了對(duì)FAST主動(dòng)反射面進(jìn)行優(yōu)化,使預(yù)測(cè)效率提升至秒級(jí)。

浪潮存儲(chǔ)于2021年再次為“中國天眼”FAST提供分布式存儲(chǔ)高密度節(jié)點(diǎn)。針對(duì)FAST科研數(shù)據(jù)中心逐步加大對(duì)科學(xué)用戶開放使用,觀測(cè)原始數(shù)據(jù)和數(shù)據(jù)分析處理所需的存儲(chǔ)空間日益緊張的迫切需求,浪潮存儲(chǔ)在本次合作中,采用業(yè)界首個(gè)“多合一”極簡(jiǎn)架構(gòu),以便確?!爸袊煅邸盕AST持續(xù)、高質(zhì)量的科學(xué)產(chǎn)出。

浪潮存儲(chǔ)“多合一”極簡(jiǎn)架構(gòu)實(shí)現(xiàn)了在4U空間內(nèi)最高可承載1PB數(shù)據(jù),提供上百GB/s的帶寬資源,具備靈活的在線擴(kuò)展容量,其最高可擴(kuò)展至5120節(jié)點(diǎn)、數(shù)據(jù)規(guī)??赏黄艵B級(jí),最終可滿足“中國天眼”未來幾年乃至十幾年的天文大數(shù)據(jù)存儲(chǔ)和處理需求。

今天,屈原的“圜則九重,孰營度之?惟茲何功,孰初作之?”依然縈繞耳畔,“中國天眼”FAST向全球天文科學(xué)家發(fā)出邀約,為國際同行提供平臺(tái)“觀測(cè)時(shí)間”,共同仰望天空,探尋星辰大海。

消息來源:浪潮
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection