北京2023年2月24日 /美通社/ -- 日前,網(wǎng)易伏羲中文預訓練大模型"玉言"登頂中文語言理解權威測評基準CLUE分類任務榜單,在多項任務上超過人類水平。其具備的自然語言處理能力,可應用于語言助手文本創(chuàng)作、新聞傳媒、智能客服等領域。在"玉言"大模型研發(fā)過程中,浪潮信息以高性能、高品質(zhì)的AI算力服務高效助力網(wǎng)易伏羲團隊相關工作開展。
網(wǎng)易伏羲大模型參數(shù)規(guī)模達到百億,開發(fā)過程中對訓練算力的需求非常大,并且需要高效管理模型和算力資源,并按需彈性地使用算力。為了應對這些挑戰(zhàn),網(wǎng)易伏羲與浪潮信息緊密合作,通過采用AI算力服務模式,解決了超大規(guī)模參數(shù)大模型所需訓練算力需求,同時還獲得了高質(zhì)量中文語言數(shù)據(jù)集的有力支持,開發(fā)效率顯著提升。
本次登頂CLUE分類任務榜單的"玉言"大模型參數(shù)達到110億,結構由深層Encoder和淺層Decoder組成。這種結構使得大模型具有優(yōu)秀的理解能力和生成能力,同時方便訓練任務的設計,不需要復雜的掩碼策略。同時,"玉言"具有良好的泛化性,在各類任務上都有著出色的性能。目前,大模型相關技術和成果已應用在網(wǎng)易集團內(nèi)的文字游戲、智能NPC、文本輔助創(chuàng)作、音樂輔助創(chuàng)作、美術設計、互聯(lián)網(wǎng)搜索推薦等業(yè)務場景,取得了顯著的業(yè)務效果。
浪潮信息推出的AI算力服務產(chǎn)品,涵蓋國際和國內(nèi)領先的4種AI算力產(chǎn)品、經(jīng)"源"清洗驗證過的語言或多模態(tài)的大模型數(shù)據(jù)集的2種數(shù)據(jù)產(chǎn)品、由浪潮"源"專家團隊提供的語言或多模態(tài)的大模型訓練支持的2種算法產(chǎn)品以及AI訓練推理資源管理調(diào)度的1種平臺產(chǎn)品。目前,AI算力服務相關信息已在元腦生態(tài)AIStore平臺上線,并提供進一步購買和試用咨詢。