omniture

天文級數(shù)據(jù)底座,促成“中國天眼”全球邀約

2021-08-24 11:37 4937

北京2021年8月24日 /美通社/ -- 作為國之重器“500米口徑球面射電望遠(yuǎn)鏡”(簡稱:FAST) -- “中國天眼”,向全球發(fā)出邀約,各國科學(xué)工作者均可以通過在線方式提交觀測申請。是什么“底氣”,讓剛剛正式運行一年多的中國天眼就有如此的大舉措?……這與其不斷優(yōu)化、擴(kuò)容、升級其超大規(guī)模數(shù)據(jù)基礎(chǔ)設(shè)施有著何種密不可分的關(guān)系?

中國天眼,與世界共見未來
中國天眼,與世界共見未來

“中國天眼”FAST,作為全球口徑最大、靈敏度最高的射電望遠(yuǎn)鏡,以其具備能夠觀測到130多億光年,即接近宇宙邊緣區(qū)域的“捕獲”能力,正在試圖回答兩千多年前屈原面對浩瀚宇宙時所發(fā)出“問天” -- 圜則九重,孰營度之?惟茲何功,孰初作之?”。

精耕天文級數(shù)據(jù) “中國天眼”贏得世界矚目

截至2021年年初,“中國天眼”FAST在經(jīng)歷調(diào)試、試運行到正式開放運行,其觀測服務(wù)已累積近6000個機時、發(fā)現(xiàn)300多顆脈沖星。基于FAST數(shù)據(jù)發(fā)表的高質(zhì)量論文達(dá)40余篇,其中快速射電暴相關(guān)研究成果成功入選《自然》2020年十大科學(xué)發(fā)現(xiàn)。

正如“中國天眼”FAST之父 -- 南仁東在其與同事所撰寫的“FAST的進(jìn)展 -- 科學(xué)、技術(shù)與設(shè)備”一文中所指出的,“FAST成功運行離不開一套穩(wěn)定且高效的觀測模式規(guī)劃及數(shù)據(jù)處理系統(tǒng)。”由此可見,獲得高質(zhì)量、完整性的天文數(shù)據(jù)對FAST能否有效支撐科研工作起著至關(guān)重要的作用。伴隨著FAST持續(xù)、系統(tǒng)的科學(xué)產(chǎn)出,它也正在面臨來自數(shù)據(jù)處理層面的巨大挑戰(zhàn)。

在FAST采用L波段的19波束饋源接收機之后,其每秒最高傳輸基帶數(shù)據(jù)從此前3GB左右,直接飆升到每秒38G,平均每小時接收到的有效科學(xué)數(shù)據(jù)近3.6TB。隨著FAST步入常規(guī)運行,觀測數(shù)據(jù)量和科學(xué)目標(biāo)的持續(xù)增加,F(xiàn)AST多科學(xué)目標(biāo)巡天每天將會產(chǎn)生約500TB的零級未壓縮數(shù)據(jù)。

面對規(guī)模大、來源廣、多樣化、多時相、多尺度、高維度、高復(fù)雜性和非結(jié)構(gòu)化等特點的天文大數(shù)據(jù),F(xiàn)AST急需構(gòu)建起一個具備高帶寬數(shù)據(jù)實時上傳、讀取,存儲以及滿足HPC、AI等不同算力需求的超大規(guī)模數(shù)據(jù)處理平臺。

打破數(shù)據(jù)處理“限高” FAST實現(xiàn)持續(xù)“提速”

繼浪潮存儲首次為“中國天眼”FAST提供高性能和高密度兩種分布式存儲節(jié)點后,2021年,浪潮存儲再次為其提供分布式存儲高密度節(jié)點。針對“中國天眼”FAST不同階段對巨量天文數(shù)據(jù)處理的需求,天眼工程師與浪潮存儲一起通過對業(yè)務(wù)場景需求的深入洞察和研究,共同探索分布式存儲技術(shù)在教科研應(yīng)用場景的方案優(yōu)化和定制開發(fā),保證了“中國天眼”FAST觀測和研究任務(wù)的持續(xù)推進(jìn)。

在“中國天眼”FAST科研數(shù)據(jù)中心升級過程中,浪潮存儲獨創(chuàng)性地在一套分布式存儲平臺AS13000G5中部署了面向高性能計算和AI應(yīng)用的H節(jié)點和面向高密度場景的M60兩種節(jié)點。H節(jié)點有效提升了天文大數(shù)據(jù)處理和分析的效率。與此形成呼應(yīng),M60節(jié)點憑借接近1PB的單節(jié)點容量,為FAST提供了海量存儲空間。

中國天眼超大規(guī)模數(shù)據(jù)處理平臺
中國天眼超大規(guī)模數(shù)據(jù)處理平臺

整套分布式存儲平臺實現(xiàn)了冷熱數(shù)據(jù)分層存儲,全面提升天文大數(shù)據(jù)存儲、處理和實時分析能力。借助分布式存儲平臺所展開的AI深度學(xué)習(xí),實現(xiàn)了對FAST主動反射面進(jìn)行優(yōu)化,使預(yù)測效率提升至秒級。

浪潮存儲于2021年再次為“中國天眼”FAST提供分布式存儲高密度節(jié)點。針對FAST科研數(shù)據(jù)中心逐步加大對科學(xué)用戶開放使用,觀測原始數(shù)據(jù)和數(shù)據(jù)分析處理所需的存儲空間日益緊張的迫切需求,浪潮存儲在本次合作中,采用業(yè)界首個“多合一”極簡架構(gòu),以便確?!爸袊煅邸盕AST持續(xù)、高質(zhì)量的科學(xué)產(chǎn)出。

浪潮存儲“多合一”極簡架構(gòu)實現(xiàn)了在4U空間內(nèi)最高可承載1PB數(shù)據(jù),提供上百GB/s的帶寬資源,具備靈活的在線擴(kuò)展容量,其最高可擴(kuò)展至5120節(jié)點、數(shù)據(jù)規(guī)模可突破EB級,最終可滿足“中國天眼”未來幾年乃至十幾年的天文大數(shù)據(jù)存儲和處理需求。

今天,屈原的“圜則九重,孰營度之?惟茲何功,孰初作之?”依然縈繞耳畔,“中國天眼”FAST向全球天文科學(xué)家發(fā)出邀約,為國際同行提供平臺“觀測時間”,共同仰望天空,探尋星辰大海。

消息來源:浪潮
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection