突破數(shù)據瓶頸，浪潮高性能存儲平臺加速產業(yè)數(shù)智化變革
北京2023年8月31日 /美通社/ -- 當前，AIGC技術的爆發(fā)，讓產業(yè)智能化和智能產業(yè)化進入高速發(fā)展期，數(shù)據作為關鍵生產要素，正在成為這輪全球增長和科技創(chuàng)新的引擎。近日，浪潮參加由百易傳媒舉辦的2023全球閃存峰會，并在會上重磅發(fā)布高性能分布式存儲平臺AS15000G7，以在性能、管理、融合和效率方面追求極致的智慧存儲新品，構筑智慧世界基石，推進AI產業(yè)化變革。
AI大模型對數(shù)據存儲產業(yè)帶來的機遇與挑戰(zhàn)
AIGC是當前通用人工智能產業(yè)發(fā)展創(chuàng)新的核心技術，其具備強大的認知智能，在搜索引擎、藝術創(chuàng)作、影音游戲，以及金融、教育、醫(yī)療、工業(yè)等領域有著廣闊的應用前景。Gartner預測，到2023年將有20%的內容被AIGC所創(chuàng)建；到2025 年人工智能生成數(shù)據占比將達到10%。據分析師預測，到2032年，生成式AI市場規(guī)模將達到2,000億美元，占據人工智能支出總額的約20%，明顯高出當前的5%。換言之，未來十年市場規(guī)?？赡苊績赡昃蜁环?。
AIGC的爆發(fā)，源自于大模型的逐漸成熟，大模型成熟的先決條件是大規(guī)模高質量的數(shù)據、強大的算力和成熟優(yōu)化的算法，而其中，數(shù)據質量和數(shù)量決定了算法的效果和性能。隨著參數(shù)量和數(shù)據量的極速膨脹，數(shù)據存儲與管理正在成為制約AIGC產業(yè)發(fā)展的瓶頸：一是要支撐基于海量多元異構數(shù)據的歸集、標注、訓練、推理和歸檔全生命周期管理；二是要承載AIGC數(shù)據訓練推理時的高性能、低延時、大容量、易擴展、自由流動的嚴苛需求。大模型訓練數(shù)據多元、數(shù)據作業(yè)流程長、多態(tài)大模型數(shù)據量持續(xù)增長、多模計算大模型性能要求高，對當前AI數(shù)據存儲基礎設施提出了新挑戰(zhàn)：
浪潮高性能分布式存儲平臺AS15000G7
產業(yè)發(fā)展的根本在于科技創(chuàng)新。浪潮作為最早布局AI產業(yè)的企業(yè)之一，圍繞智算中心業(yè)務布局，打造了算力、算法、數(shù)據全棧解決方案。在數(shù)據存儲領域，浪潮秉承"存儲即平臺"的產品理念，準確識別客戶痛點積極布局面向AIGC應用場景的數(shù)據全生命周期存儲解決方案，并基于業(yè)界對大模型訓練的數(shù)據存儲在性能、管理、融合和效率方面更極致的需求，重磅發(fā)布高性能分布式存儲AS15000G7平臺，助力AIGC在金融、教育、醫(yī)療等領域突破海量多元異構數(shù)據存力瓶頸，加速釋放數(shù)據價值。
極致性能，加速AI大模型訓練。AS15000G7采用高吞吐并行存儲系統(tǒng)，通過GDS、RDMA技術縮短I/O路徑；通過智能元數(shù)據管理，提前緩存用戶數(shù)據和文件系統(tǒng)元數(shù)據，顯著提升數(shù)據訪問和檢索速度；獨有的智能網絡優(yōu)化技術，可實現(xiàn)多個子網與指定目的地通信，每對守護進程之間建立多個TCP連接并通信，顯著提升網絡端口并發(fā)能力，實現(xiàn)傳輸端口帶寬翻數(shù)倍，時延縮短50%以上，小文件級傳輸?shù)臅r延可降至毫秒級。
極致管理，AI訓練全流程透明可控。AS15000G7新品可同時搭載AIStation調度平臺和InView數(shù)據管理平臺，對AI服務器、網絡、存儲智能運維。支持訓練推理全流程的多租戶管理、資源分配、數(shù)據管理分析；支持本地和云端的系統(tǒng)性能監(jiān)控，其中云端監(jiān)控支持多數(shù)據中心統(tǒng)一界面管理，自動預警功能可幫助本地運維人員早發(fā)現(xiàn)問題早處理， HDD/SSD壽命和故障預測功能在14天內的準確率高于95%，處于業(yè)界領先水平，可幫助客戶提前做好設備更新迭代規(guī)劃，保證數(shù)據的可靠性和可用性；同時支持納管多品牌存儲系統(tǒng)，實現(xiàn)IT設備高利用率。總得來說，一套存儲平臺可以實現(xiàn)對AIGC數(shù)據采集、清洗、訓練、推理、歸檔不同場景全流程的設備資源監(jiān)控和管理，助力客戶更加專注于大模型訓練本身。
極致融合，海納多源異構巨量數(shù)據。AS15000G7平臺基于其融合架構，支持文本、圖片、音頻、視頻等多種類型數(shù)據存儲，可對文件、對象、大數(shù)據以及視頻的存儲方式進行并行訪問，支持多協(xié)議實時互訪互通和系統(tǒng)扁平擴展。而且數(shù)據訪問過程中保持語義一致、性能無損，從而對AI大模型海量多源異構非結構化數(shù)據實現(xiàn)高效共享。
極致效率，提升用戶IT設備投資回報比。AS15000G7平臺基于自動化的數(shù)據分層和遷移，在確保對應用安全透明的前提下，可實現(xiàn)熱溫冷冰數(shù)據全生命周期的管理，通過基于閃存、磁盤、磁帶、光盤的性能型、均衡型、容量型三種機型的按需靈活配置，存儲TB級數(shù)據成本可降低超50%，TCO降低35%。
"當前，各個廠商紛紛投資IT基礎設施，訓練自己的大模型，國內已發(fā)布的AI模型超過了100個，'百模爭秀'的格局初現(xiàn)，云廠商和運營商對IT硬件的投資往往是數(shù)千甚至上萬節(jié)點規(guī)模，而行業(yè)型大廠投資在幾百節(jié)點規(guī)模，在建設布局時考慮到AI大模型對高性能AI服務器、高吞吐并行存儲系統(tǒng)、低延遲RDMA網絡的嚴苛需求，將數(shù)據中心的計算、全閃存儲、混閃存儲按照1:1:1黃金比例建設，用戶可最大化獲得投資回報比。"浪潮信息存儲產品線副總經理劉希猛表示。
得益于前瞻布局和技術創(chuàng)新，浪潮高性能分布式存儲AS15000G7平臺，已在"源"大模型中部署，并在智能客服、生物識別、互聯(lián)網金融、精準營銷等云數(shù)智新場景廣泛應用。面對生成式AI掀起的變革浪潮，浪潮將秉承"存儲即平臺"的產品理念，不斷精耕數(shù)據存儲產品和解決方案，以極致性能、極致管理、極致融合、極致效率的數(shù)據存儲基礎設施，讓數(shù)據存力像水電一樣賦能千行百業(yè)，服務大眾，成為人人可見、普適易用、高效互聯(lián)的基礎設施，革命性地提升人類生產生活水平。
