omniture

加速大模型上車 浪潮信息自動駕駛計算框架AutoDRRT 2.0實現(xiàn)車端低延時計算

2024-10-21 17:07 3746

北京2024年10月21日 /美通社/ -- 隨著自動駕駛算法技術的快速發(fā)展,基于BEV+Transformer的感知范式為高階自動駕駛提供了更高精度感知、更強場景泛化能力和更優(yōu)多模態(tài)融合的方案,是目前各大主流汽車廠商高階自動駕駛方案的標配。當下主流自動駕駛方案的大模型算法參數(shù)規(guī)模在幾千萬至接近億級,比以往最高提升了一個數(shù)量級,但苛刻的時延要求并沒有降低,這對算力、數(shù)據(jù)IO和互聯(lián)都帶來了極大的挑戰(zhàn):大模型復雜的網絡結構和算子推理,依賴于更高性能的車載算力;眾多傳感器的高頻采集,帶來了大規(guī)模數(shù)據(jù)流的實時IO吞吐需求;算力單元間的協(xié)同,也需要更強大的網絡通信支撐。

近日,浪潮信息發(fā)布支持BEV+Transformer的全新自動駕駛計算框架AutoDRRT 2.0(Autonomous Driving Distributed Robust Real-Time),并第一時間開源,用戶可以基于該框架快速搭建部署端到端的低延時自動駕駛方案,加速大模型上車。

基于在車載計算、自動駕駛算法、軟硬協(xié)同等領域的研發(fā)積累,浪潮信息從硬件系統(tǒng)、軟件環(huán)境、應用框架及算法內核多個層面對AutoDRRT2.0進行優(yōu)化,實現(xiàn)計算、通信、IO全面升級,優(yōu)化后,框架整體端到端鏈路延時低于100 毫秒,保障車載大模型的高效穩(wěn)定運行。

  • 計算方面,框架支持BEV+Transformer的低延時推理,BEV算法庫性能較業(yè)界平均水平提升一倍;
  • 通信方面,將DDS通信中間件從支持以太網擴展到支持PCIe,大數(shù)據(jù)通信效率提升14倍;
  • IO方面,通過GPU數(shù)據(jù)共享,減少CPU與GPU間冗余數(shù)據(jù)搬運,讓IO吞吐效率提升6倍。

BEV+Transformer成為自動駕駛標配,車端部署面臨挑戰(zhàn)

利用相機進行純視覺感知是自動駕駛的主要技術路線之一。但在相機2D視角下,物體由于遮擋會產生不可避免的視覺盲區(qū)問題。BEV (Bird's eye view,鳥瞰圖) 從俯視視角重建3D感知空間,不僅能夠提供360°全域感知信息,還便于多源、多模態(tài)的數(shù)據(jù)融合,有利于自動駕駛高效感知、定位和路徑規(guī)劃。

純視覺方案在物理上會損失感知目標的深度信息,BEV技術借助Transformer特征推理,可將2D透視空間映射到3D物理空間。Transformer大模型通過交叉注意力機制重建深度特征,具有精度上限高、泛化能力強等優(yōu)點,并通過學習建立數(shù)據(jù)幀間的關聯(lián),在4D (3D+時序) 空間生成無盲區(qū)的全方位感知結果,確保駕駛安全。這種BEV+Transformer的感知范式正在成為自動駕駛標配,但在車端部署應用中仍面臨計算、通信、IO等方面的多重挑戰(zhàn)。

模型參數(shù)量大幅提升,算力需求驟增:從2D+CNN小模型到BEV+Transformer大模型,參數(shù)量的大幅提升給計算帶來越來越大的挑戰(zhàn),車端模型部署不僅要考慮單SOC的計算性能優(yōu)化,如低比特量化、算子融合等,而且要考慮多SOC的模型并行問題,實現(xiàn)多SOC的協(xié)同,包括算法拆分、模型的并行機制、SOC間的負載均衡與pipeline優(yōu)化等。

通信帶寬不足,時延需求嚴苛:車載計算經歷從2D+CNN小模型到BEV+Transformer大模型的技術升級,并最終朝著端到端大模型的方向發(fā)展,這使得數(shù)據(jù)交互也逐步從目標級過渡到特征級,最終向數(shù)據(jù)級維度演變。數(shù)據(jù)通信量增加使得多SOC協(xié)作中的通信負荷急劇變大,設備間的通信開銷逐漸成為框架的延時瓶頸。作為主流的通信中間件,DDS (Data Distribution Service, 數(shù)據(jù)分發(fā)服務) 僅支持以太網進行設備間的數(shù)據(jù)傳輸和調度。該模式受限于有效帶寬和傳輸協(xié)議的限制,在大批量數(shù)據(jù)吞吐的情況下容易發(fā)生阻塞,導致通信效率下降。以典型多模態(tài)感知模型BEVFusion為例,其在單SOC上單幀推理的時間約50 ms,若雙SOC推理時間降至約30 ms,然而設備間通過千兆以太網和DDS進行特征融合的通信耗時也在數(shù)十毫秒,通信延遲抵消了算力提升帶來的性能優(yōu)勢。因此,車端部署大模型亟需更高速的數(shù)據(jù)通信帶寬。

數(shù)據(jù)吞吐提升,IO制約計算:自動駕駛框架層面的感知任務包含原始數(shù)據(jù)的接入 (傳輸+調度) 和模型推理等多個部分。數(shù)據(jù)的調度包含大量邏輯操作,需要CPU運行,而模型推理則主要為AI運算,由GPU執(zhí)行,DDS則提供通信服務支持。但由于DDS不支持GPU層面上的通信和調度,導致跨模型/節(jié)點的任務數(shù)據(jù)在CPU-GPU間的冗余搬運,出現(xiàn)IO消耗。隨著自動駕駛技術的發(fā)展,車輛各類傳感器數(shù)據(jù)呈爆發(fā)性增長趨勢,大量數(shù)據(jù)的傳輸讓IO問題日益凸顯。在浪潮信息自動駕駛研發(fā)團隊的實測中,數(shù)據(jù)IO耗時占完整鏈路的15%~30%,IO限制計算效率的發(fā)揮。

全新推出AutoDRRT 2.0,計算、通信、IO全面升級

浪潮信息團隊通過計算、通信、IO全面升級,研發(fā)AutoDRRT 2.0,解決技術進化帶來的各項挑戰(zhàn)。

  • 計算升級,從2D+CNN到BEV+Transformer

為了實現(xiàn)"大模型上車"的目標,AutoDRRT 2.0從計算組件的分布式、高容錯及低延時三個核心特點出發(fā)進行技術革新,實現(xiàn)框架支持BEV+Transformer低延時推理。

分布式:從任務級并行到數(shù)據(jù)級并行。浪潮信息車載域控制器EIS400通過多SOC的PCIe互連實現(xiàn)算力擴展。AutoDRRT 2.0框架采用分布式架構設計,選擇將200+個功能節(jié)點部署在不同SOC上并行執(zhí)行,通過自動分布式并行工具進行任務間的調度和設備的負載均衡,節(jié)點間通過DDS中間件進行通信和協(xié)作,從而實現(xiàn)任務級并行計算加速。同時,AutoDRRT 2.0利用BEV算法使用多環(huán)視相機補盲進行全域感知的特點,選擇將異源數(shù)據(jù)的編解碼流分配到SOC上不同的計算單元,實現(xiàn)算法單batch推理的數(shù)據(jù)并行,進一步提高硬件使用效率,降低計算延時。

高容錯:從算法間容錯到算法內容錯。在復雜工況下保障計算平臺的穩(wěn)定運行也是框架設計的核心要點之一。AutoDRRT 2.0通過備份重要功能節(jié)點和關鍵消息,在主算法失效后實時 (< 1ms) 切換從算法,實現(xiàn)算法間無感容錯,達到失效可操作。同時,浪潮信息自動駕駛研發(fā)團隊進一步從算法內核層面升級,開放了面向多模態(tài)任務的高魯棒性低延時自動駕駛感知算法BEVFusion_Robust,在原始代碼基礎上通過高性能Lift-Splat-Shoot算法解綁相機流和雷達流,并基于流并行的方式,在BEV統(tǒng)一表征下適配多檢測頭實現(xiàn)了自動駕駛多源傳感器融合感知方案中的魯棒性需求,使得框架在純視覺、純雷達及多模態(tài)下均可以穩(wěn)定運行,延時較基礎版本下降22%。模型現(xiàn)已集成在AutoDRRT 2.0高性能算法庫。

低延時:算法內核全面優(yōu)化,降低運行時延。為降低大模型運行時延,AutoDRRT 2.0在算法內核層面進行改造,包括對典型BEV模型進行Post-Training Quantization量化,提高推理效率,并引入結構化稀疏N:M稀疏方案,提高了內存訪問效率,不影響模型精度的基礎上壓縮模型規(guī)模,節(jié)約計算和存儲成本。AutoDRRT 2.0還開發(fā)了高性能算子庫,典型算子延時下降70%。通過算子融合的方式,大模型可以減少GPU在核函數(shù)之間的切換,進一步優(yōu)化了性能。以BEVDet為例,AutoDRRT 2.0的BEV算法庫在典型推理能力上實現(xiàn)了相較于業(yè)界開源版本速度提升1倍,在單SOC上推理超過50 FPS。實車測試顯示,浪潮信息車載域控制器EIS400與AutoDRRT 2.0的自動駕駛算法方案,數(shù)據(jù)閉環(huán)端到端延遲低于100毫秒,確保了大模型在車端的穩(wěn)定高效運行。

  • 通信升級,DDS中間件從支持以太網擴展到支持PCIe

為提升通信帶寬,AutoDRRT 2.0在中間件層面進行創(chuàng)新,給出DDS的Opt優(yōu)化版本 (DDS_Opt)??蚣芡ㄟ^PCIe內存共享方式和設備間的直接訪問 (Direct Memory access,DMA) 技術,使得大數(shù)據(jù)在設備間可以高速通信,同時開放API接口,一方面保留了DDS訂閱/發(fā)布的功能特點,另一方面也使得用戶不需要關心底層設備間地址映射邏輯和實現(xiàn)方法,專注于DDS應用層上的設計。

基于PCIe的通信模式創(chuàng)新大幅降低鏈路時延,減少CPU算力消耗,同時能兼顧DDS中的發(fā)布/訂閱等通信協(xié)議的優(yōu)勢,滿足跨SOC的大數(shù)據(jù)通信場景需求。實測DDS基于PCIe的通信模式在通信原理和實際效果中均優(yōu)于以太網,大文件傳輸時效果尤其明顯。我們基于PCIe模式實現(xiàn)ROS2+DDS的跨設備大數(shù)據(jù)通信應用,在數(shù)據(jù)量達到100MB時完整鏈路通信效率較以太網模式提升14倍。

  • I/O升級,節(jié)點間GPU數(shù)據(jù)共享,避免CPU-GPU間搬運

為了提高感知任務的執(zhí)行效率,減少CPU-GPU間冗余IO操作,優(yōu)化鏈路延時,AutoDRRT 2.0在不改變原始模塊鏈路的前提下,以傳輸數(shù)據(jù)"標簽"的間接通信代替?zhèn)鬏敂?shù)據(jù)"本體"的直接通信,通過節(jié)點間GPU數(shù)據(jù)共享,在保留模型間松耦合結構的同時完成了基于DDS的高效能協(xié)作,實現(xiàn)"輕量化"傳輸和調度功能,減少框架負荷。

對于相機傳輸鏈路,通過GPU數(shù)據(jù)共享完成數(shù)據(jù)獲取及模型推理兩個ROS2節(jié)點的數(shù)據(jù)通信,可以有效減少IO操作,降低系統(tǒng)時延。如下給出典型的單幀圖像數(shù)據(jù)讀入(8 MB數(shù)據(jù)量)下IO_Opt升級效果,對比優(yōu)化前模塊 (傳統(tǒng)IO算法) 延時下降85%,效率提升近6倍。  

此外,AutoDRRT 2.0框架為BEV+Transformer大模型上車提供了完善的開發(fā)工具鏈,包括模型的數(shù)據(jù)標定、訓練推理和部署加速工具等,同時整合了完善的傳感器接入方案,集成主流型號的激光雷達、相機、毫米波雷達、組合慣導等設備驅動,支持用戶在系統(tǒng)層面對框架進行監(jiān)控和管理。仿真方面,該框架還開放了RoboBus和GolfCar兩個L4級自動駕駛場景的系統(tǒng)測試。浪潮信息希望通過自動駕駛計算框架AutoDRRT 2.0和車載域控制器EIS400的一系列創(chuàng)新技術和產品,為汽車廠商、自動駕駛軟件開發(fā)商帶來更高性能、更高通信帶寬、更低IO延時的自動駕駛軟硬優(yōu)化車載計算方案,加速BEV+Transformer技術的大規(guī)模上車應用。

 

消息來源:浪潮信息
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網、科技、媒體、通訊企業(yè)的經營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection