北京2022年4月21日 /美通社/ -- 近日,浪潮信息副總裁、AI&HPC產(chǎn)品線總經(jīng)理劉軍受邀出席新智元"元宇宙 新人類"論壇,在《元宇宙服務(wù)器MetaEngine》主題報告中,分享了浪潮信息對元宇宙的認(rèn)知,元宇宙面臨的技術(shù)挑戰(zhàn),以及如何打造元宇宙新型基礎(chǔ)設(shè)施的見解。
以下基于演講實(shí)錄整理。
元宇宙是數(shù)實(shí)融合的數(shù)字載體
數(shù)實(shí)融合當(dāng)前已經(jīng)成為一種潮流的趨勢,當(dāng)數(shù)字技術(shù)日益融入經(jīng)濟(jì)社會發(fā)展各領(lǐng)域、全過程,持續(xù)推動著物理世界數(shù)字化、數(shù)字世界智慧化,逐漸形成了一場涵蓋個人生活方式、社會生產(chǎn)方式和國家治理方式的全面變革。
數(shù)實(shí)相融就是數(shù)字化世界同物理世界的融合,用數(shù)字世界來引導(dǎo)現(xiàn)實(shí)世界的運(yùn)行,用數(shù)字世界的智慧化實(shí)現(xiàn)現(xiàn)實(shí)世界的智慧化。
元宇宙本質(zhì)上是更高度的數(shù)實(shí)融合,它是數(shù)實(shí)融合的數(shù)字載體,這里我們以數(shù)字孿生和虛擬人為例來談?wù)劇?/p>
數(shù)字孿生是元宇宙的數(shù)字空間基礎(chǔ),它可以將物理對象以數(shù)字化的方式在虛擬空間進(jìn)行動態(tài)呈現(xiàn),它的應(yīng)用體現(xiàn)在多個方面,比如孿生工廠,可以動態(tài)的呈現(xiàn)從生產(chǎn)制作的全過程動態(tài)管理,實(shí)現(xiàn)運(yùn)轉(zhuǎn)效率的大幅提升;孿生城市可以在數(shù)字世界推演天氣環(huán)境、人口土地、產(chǎn)業(yè)交通等要素的交互運(yùn)行,繪制城市畫像,幫助城市規(guī)劃、城市治理的效率提升;孿生基建可以讓我們在修建高速公路、樓體建筑時,在數(shù)字世界對工程進(jìn)行仿真模擬,評估結(jié)構(gòu)和承力,在工程交付后的維護(hù)階段評估工程是否可以承擔(dān)特殊情況的壓力,以及監(jiān)測可能出現(xiàn)的事故隱患。
數(shù)字虛擬人是元宇宙的重要實(shí)體(Entity)和生態(tài),就像是元宇宙世界中的公民,是人類身份在虛擬世界的載體。利用數(shù)字虛擬人,人們也可以提升很多工作效率,比如虛擬主播可以7*24小時的進(jìn)行新聞播報,可以讓人們?nèi)旌虻牧私馓煜麓笫?,虛擬醫(yī)生可以通過打通就診數(shù)據(jù)、跟蹤上萬種細(xì)微指標(biāo)特征差異,打破時間和空間,實(shí)現(xiàn)醫(yī)生就診病人從1對1轉(zhuǎn)變?yōu)?對多管理,虛擬模特在疫情下緩解了模特緊缺的市場情況,解決模特的供不應(yīng)求。
元宇宙:認(rèn)知世界 再現(xiàn)世界
元宇宙,可以說是一個認(rèn)知世界、再現(xiàn)世界的過程,這個過程涉及到在線協(xié)同建模、高精度仿真、實(shí)時渲染、智能交互等多個環(huán)節(jié),每個環(huán)節(jié)下都有對應(yīng)的關(guān)鍵技術(shù)、軟件棧和算法工具。
首先,構(gòu)建元宇宙需要進(jìn)行3D建模,最近比較前沿的還有AIGC(利用GAN/多模態(tài)模型生成內(nèi)容創(chuàng)作),這部分的工作需要多人在線協(xié)同構(gòu)建。
由多人在線協(xié)同生成3D模型生成后,需要在元宇宙中仿真運(yùn)行,通過結(jié)構(gòu)仿真、感知仿真和控制仿真可以對模型進(jìn)行驗(yàn)證,如果說建模是對物理實(shí)體理解的模型化,那么仿真就是驗(yàn)證和確認(rèn)這種理解的正確性和有效性的工具。
通過光線追蹤、光柵化、數(shù)據(jù)流傳輸可以讓虛擬人、數(shù)字世界更加逼真,為用戶帶來超現(xiàn)實(shí)的感官體驗(yàn),呈現(xiàn)出一個更加豐富多彩的數(shù)字世界,擁有逼近現(xiàn)實(shí)世界一樣的沉浸感。
利用CV/NLP/ASR/TTS等AI技術(shù),讓數(shù)字世界的虛擬人可以能聽、會說、能交互,從而打破數(shù)字世界和物理世界的邊界,實(shí)現(xiàn)線上線下的交融。
元宇宙通過以上多個環(huán)節(jié)、多個工具才能達(dá)到超越感官、智能交互的水平,像現(xiàn)實(shí)世界一樣豐富多彩。
元宇宙需要強(qiáng)大的算力基礎(chǔ)設(shè)施
元宇宙的出現(xiàn)和發(fā)展帶來的不僅有精彩,還有挑戰(zhàn),元宇宙構(gòu)建的各個環(huán)節(jié)都需要用到不同類型的算力支撐,也就是元宇宙的算力基礎(chǔ)設(shè)施。
大規(guī)模、高復(fù)雜的數(shù)字孿生空間、數(shù)字人和其他實(shí)體角色的建模需要眾多設(shè)計師協(xié)同創(chuàng)作完成,現(xiàn)實(shí)世界和數(shù)字世界的交互則需要實(shí)時、高清的3D渲染算力和低延遲的網(wǎng)絡(luò)數(shù)據(jù)傳輸,增加了云端協(xié)同的處理需求。
元宇宙的應(yīng)用會涉及到動力、熱力、流體等多類物理仿真,這需要用到高精度的數(shù)值計算,來支撐物理仿真和科學(xué)可視化。
讓數(shù)字世界無限接近現(xiàn)實(shí)世界,需要高逼真、沉浸感的3D場景構(gòu)建和渲染。舉個iMax 3D電影的例子,比如《戰(zhàn)斗天使阿麗塔》這部電影,其中阿麗塔高度擬真的視覺特效令人震撼,這樣以假亂真的渲染效果來源于巨大的算力消耗:主角13萬根發(fā)絲每根都需要進(jìn)行單獨(dú)渲染,僅1幀畫面渲染就要耗費(fèi)100個小時,而元宇宙的渲染不僅只涉及一個虛擬人,還包括建筑、城市等其他元素,這需要巨量的圖形圖像計算支撐。
同時,元宇宙還會涉及到人機(jī)交互等AI應(yīng)用場景,由AI驅(qū)動的數(shù)字人往往需要結(jié)合語音識別、NLP、DLRM等AI算法從而實(shí)現(xiàn)交互能力,這些模型的背后需要強(qiáng)大的AI算力來支撐其訓(xùn)練和推理需求。
可以看到,要構(gòu)建高度擬真的數(shù)字世界并實(shí)現(xiàn)數(shù)億用戶實(shí)時交互的"元宇宙",當(dāng)前面臨著場景規(guī)模大、場景復(fù)雜度高,以及多設(shè)計師和多部門協(xié)作、極高逼真數(shù)字元素制作,實(shí)時渲染、仿真和交互等諸多挑戰(zhàn),并對支撐元宇宙構(gòu)建和運(yùn)轉(zhuǎn)的核心源動力 -- 算力提出更高的要求。這種要求不僅僅是高性能、低延遲、易擴(kuò)展的硬件平臺,還有端到端、生態(tài)豐富、高易用的軟件棧。
浪潮元宇宙服務(wù)器MetaEngine
浪潮元宇宙服務(wù)器MetaEngine正是為滿足這些苛刻要求而設(shè)計的軟硬一體化基礎(chǔ)設(shè)施。
作為元宇宙生態(tài)的底層算力支撐平臺,MetaEngine將承載元宇宙構(gòu)建和運(yùn)行所需的技術(shù)和工具,提供對AI、渲染、仿真、建模等負(fù)載的算力支持,滿足元宇宙創(chuàng)建所需的"協(xié)同創(chuàng)建、實(shí)時渲染、高精仿真、智能交互"4大作業(yè)環(huán)節(jié)的不同類型算力需求,并通過高速、無阻塞的網(wǎng)絡(luò)信道,按需擴(kuò)展至大規(guī)模算力集群。浪潮元宇宙服務(wù)器結(jié)合業(yè)界最強(qiáng)軟硬件生態(tài),協(xié)同優(yōu)化加速數(shù)字孿生世界構(gòu)建,為用戶打造高效的元宇宙協(xié)同開發(fā)體驗(yàn)。單臺元宇宙服務(wù)器即可支持256位元宇宙架構(gòu)師協(xié)同創(chuàng)作,每秒AIGC 2000個數(shù)字場景,1000位VR/AR用戶共享10K超高清3D數(shù)字世界順暢體驗(yàn)。
元宇宙服務(wù)器產(chǎn)品方案架構(gòu)
在硬件上,MetaEngine采用浪潮領(lǐng)先的異構(gòu)加速服務(wù)器的旗艦系統(tǒng),支持最先進(jìn)的CPU和GPU,具有強(qiáng)大的RDMA通信和數(shù)據(jù)存儲能力,支持強(qiáng)大的渲染和AI計算能力。
在軟件上,可以支持對應(yīng)每個作業(yè)環(huán)節(jié)的各類專業(yè)軟件工具,用戶可以根據(jù)使用習(xí)慣靈活選擇,同時系統(tǒng)集成了NVIDIA Omniverse Enterprise,為用戶準(zhǔn)備了豐富的開發(fā)套件,包括專門用于結(jié)構(gòu)、感知、控制仿真的Simulation SDKs,用于渲染、實(shí)時光追、AI降噪的SDKs,用戶可以通過Kit功能將這些不同的SDK進(jìn)行模塊化的組合,快速完成定制化App或者微服務(wù)的開發(fā),當(dāng)然這里已經(jīng)為用戶準(zhǔn)備好了一些廣泛適用的App比如用于建模和渲染的Create,用于可視化的View,更為重要的是,用戶通過App開發(fā)的內(nèi)容可以通過數(shù)據(jù)庫和協(xié)作引擎NUCLEUS,建模工具互聯(lián)插件CONNECT與第三方專業(yè)軟件工具無縫連接,目前CONNECT已經(jīng)提供了20多種Plugins,支持與3DS MAX、UE、MAYA等軟件互聯(lián)。
MetaEngine的目標(biāo)是構(gòu)建一個端到端、生態(tài)豐富和高易用的協(xié)作平臺,為用戶打造一站式元宇宙開發(fā)體驗(yàn)。
MetaEngine全面支持Omniverse
當(dāng)前,MetaEngine已經(jīng)全面支持英偉達(dá)的Omniverse Enterprise,將高性能 GPU 的圖形計算、AI計算與高速存儲訪問、低延遲網(wǎng)絡(luò)和精確計時相結(jié)合,是一個數(shù)據(jù)中心級的軟硬一體解決方案,專用于為大規(guī)模數(shù)字孿生提供算力和應(yīng)用支持,以實(shí)時創(chuàng)建和運(yùn)行非常復(fù)雜的模型和逼真的仿真環(huán)境。
目前的MetaEngine元宇宙服務(wù)器集成A40的專業(yè)GPU,CX6 Dx高速網(wǎng)卡,并與企業(yè)級管理和編排軟件相結(jié)合,為用戶準(zhǔn)備了豐富的建模、渲染、仿真套件。同時,可以將32臺MetaEngine組合成為1個集群式的可擴(kuò)展單元,多個可擴(kuò)展單元可以繼續(xù)橫向擴(kuò)展組成更大規(guī)模集群,可提供非凡的計算性能和超高的網(wǎng)絡(luò)帶寬,滿足工廠、城市乃至更大規(guī)模復(fù)雜仿真和實(shí)時數(shù)字孿生的需求。
在這里,我也將為大家分享如何用浪潮MetaEnigne創(chuàng)建數(shù)字孿生和虛擬人。
MetaEngine創(chuàng)建數(shù)字孿生
首先,以新品設(shè)計、流水線調(diào)度生產(chǎn)、上市為例,談一談MetaEngine如何創(chuàng)建運(yùn)行數(shù)字孿生,來優(yōu)化工作流,提高生產(chǎn)效率。當(dāng)生產(chǎn)及需求達(dá)到一定規(guī)模時,生產(chǎn)、配送、分揀的過程就成為了一個系統(tǒng)工程性問題,如飲料、汽車等各行業(yè)的大規(guī)模制造公司。使用數(shù)字孿生讓虛擬世界的高精仿真代替現(xiàn)實(shí)世界的運(yùn)行,在產(chǎn)品設(shè)計生產(chǎn)、調(diào)配之前,模擬其過程取得物理裝置最優(yōu)的參數(shù)配置,提高效率贏得市場。
如何建造一個流水線上的數(shù)字孿生?MetaEngine提供元宇宙構(gòu)建所需的多元算力和Omniverse組件,為構(gòu)建和運(yùn)行該數(shù)字孿生提供基礎(chǔ)能力。
首先是在線建模,按照1:1數(shù)字模型創(chuàng)建工廠的建筑、流水線等生產(chǎn)交付全過程。Connect組件提供20多個第三方建模軟件的連接插件,允許用戶使用第三方建模工具接入?yún)f(xié)同建模,Omniverse使用統(tǒng)一數(shù)據(jù)格式USD與第三方建模軟件(SketchUp/Revit)進(jìn)行數(shù)據(jù)交互,Nucleus數(shù)據(jù)庫提供多人數(shù)據(jù)管理功能,允許多用戶同時修改可視化、渲染3D-USD文件。
高精仿真階段使用Simulation組件仿真新產(chǎn)品的材質(zhì)及物理屬性,根據(jù)高逼真的虛擬物品,使用Replicator完成仿真環(huán)境的部署、搭建。Omniverse豐富的材質(zhì)庫可以為設(shè)計模擬物品,提供更好的逼真度,配合使用物理仿真、動畫制作的軟件(Ansys/Houdini)可以完成整個流水線和物品的高精仿真;Replicator組件則根據(jù)仿真結(jié)果生成AI模型訓(xùn)練需要的合成數(shù)據(jù)環(huán)境。
實(shí)時渲染階段,使用Renderer組件對仿真環(huán)境中的材質(zhì)、光照條件實(shí)時渲染畫面,生成用于訓(xùn)練AI模型的合成數(shù)據(jù)。根據(jù)合成數(shù)據(jù)在MetaEngine中訓(xùn)練我們的AI視覺模型,提供物理實(shí)體及流水線流程的監(jiān)控及理解。
智能交互階段,將在MetaEngine中訓(xùn)練完成的AI模型部署于物理環(huán)境與虛擬環(huán)境,虛擬環(huán)境中的AI推理指導(dǎo)物理實(shí)體行為,物理環(huán)境中實(shí)際反應(yīng)再返回虛擬環(huán)境指導(dǎo)模型融合訓(xùn)練。虛擬世界中如檢測到畫面中的擁堵或者空閑,可以反饋到物理流水線改變作業(yè)狀態(tài),反之物理流水線上真實(shí)的結(jié)果可以生成真實(shí)數(shù)據(jù)繼續(xù)更新AI模型。
MetaEngine創(chuàng)建虛擬數(shù)字人
我們再以高逼真的交互型虛擬數(shù)字人的制作及使用為例,依然按照"協(xié)作建模---高精仿真---實(shí)時渲染---智能交互"的作業(yè)流程來看如何用MetaEngine創(chuàng)建虛擬人。
首先可以使用UE Metahuman/CHARACTER CREATOR配合Omniverse Nucleus/Connect進(jìn)行3D人物形象及人臉建模。然后通過高精仿真,讓虛擬數(shù)字人更加自然、真切的與我們交流,比如對毛發(fā)的模擬,12萬根毛發(fā)如何在風(fēng)中飛舞,這得需要強(qiáng)大的算力支撐,還需要借助AI模型生成逼真的手勢和面部表情。
再就是實(shí)時渲染,MetaEngine中的Omniverse RTX Renderer可以提供實(shí)時渲染能力,讓人物動畫及其場景實(shí)時立體地展示在我們面前,通過屏幕或XR設(shè)備進(jìn)行溝通交流。
最后是智能交互使用,這塊需要有大量的AI模型提供支撐,把整個智能交互的流程放大來看。用戶首先通過語音和視頻分別通過ASR 和 Vision AI模型進(jìn)行推理,得到文本及視頻動作理解;將文本、動作理解融合送入的NLP語言模型如源1.0生成語言文本,再將語言文本轉(zhuǎn)化為語音或動作語言表述,通過TTS模型將文本轉(zhuǎn)化為語音,語音驅(qū)動Avatar制作的虛擬數(shù)字人,產(chǎn)生面部行為(audio2face應(yīng)用)動作手勢(audio2gesture),并通過RTX Renderer實(shí)時渲染能力生成動畫視頻作為輸出與用戶交互。
當(dāng)然,元宇宙不僅只有數(shù)字孿生和虛擬人。元宇宙要實(shí)時地映射現(xiàn)實(shí)世界,在元宇宙中再現(xiàn)工業(yè)、農(nóng)業(yè)、服務(wù)業(yè)、社會、經(jīng)濟(jì)、文化、城市、鄉(xiāng)村、地球等現(xiàn)實(shí)世界,用戶"身臨其境"地在其中社交、娛樂、會議、協(xié)作、旅游、購物、教育,所有人都可以在其中互動,要達(dá)到這樣的目標(biāo),還有很長的路要去走,需要不斷探索和發(fā)現(xiàn)更有效率的實(shí)現(xiàn)元宇宙的創(chuàng)新技術(shù)和方案。
如同發(fā)展汽車產(chǎn)業(yè)需要高速公路一樣,汽車是應(yīng)用,公路是基礎(chǔ)設(shè)施,元宇宙也需要基礎(chǔ)設(shè)施。MetaEngine元宇宙服務(wù)器即是浪潮為加速元宇宙產(chǎn)業(yè)提出的算力基礎(chǔ)設(shè)施。