北京2021年8月24日 /美通社/ -- 金融企業(yè)業(yè)務(wù)運(yùn)營中會產(chǎn)生大量電子憑證以及視頻圖像等非結(jié)構(gòu)化數(shù)據(jù),包括用戶資料掃描件、照片、視頻、票據(jù)、證件等非結(jié)構(gòu)化影像數(shù)據(jù)。這些非結(jié)構(gòu)化數(shù)據(jù),也可以稱之為內(nèi)容(Content)。如何有效地獲取、處理、管理這些海量的非結(jié)構(gòu)化內(nèi)容,成為金融行業(yè)面臨的主要挑戰(zhàn)。浪潮存儲基于分布式架構(gòu)為金融企業(yè)提供了影像內(nèi)容管理解決方案。
隨著數(shù)字技術(shù)發(fā)展,互聯(lián)網(wǎng)金融和移動支付的需求更加旺盛,給銀行業(yè)務(wù)系統(tǒng)帶來了新的挑戰(zhàn)。比如,銀行需要加強(qiáng)業(yè)務(wù)層的并發(fā)響應(yīng)能力,在服務(wù)增加了小額貸、網(wǎng)貸、微信、支付寶等一系列應(yīng)用軟件;銀行在技術(shù)組件層需要對高相應(yīng)的數(shù)據(jù)訪問、數(shù)據(jù)報(bào)表、在線分析等,以及大數(shù)據(jù)相關(guān)的(數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)分發(fā))一系列對應(yīng)的處理能力;再如,在數(shù)據(jù)層,需要處理內(nèi)容數(shù)據(jù)為包括圖片、視頻等典型的非結(jié)構(gòu)化數(shù)據(jù),賬目、表、數(shù)據(jù)庫等典型的結(jié)構(gòu)化數(shù)據(jù),及大數(shù)據(jù)平臺的、對應(yīng)互聯(lián)網(wǎng)等半結(jié)構(gòu)化數(shù)據(jù)。內(nèi)容管理平臺就是其中主要面對挑戰(zhàn)的業(yè)務(wù)平臺之一。
新數(shù)據(jù)時(shí)代下的金融內(nèi)容管理創(chuàng)新
內(nèi)容管理平臺已成為金融企業(yè)基礎(chǔ)平臺之一,它構(gòu)建了銀行非結(jié)構(gòu)化數(shù)據(jù)的管理平臺,具有綜合存儲管理銀行海量非結(jié)構(gòu)化數(shù)據(jù)的能力,能夠完成從內(nèi)容采集、創(chuàng)建、傳遞到內(nèi)容分析、數(shù)據(jù)展示等內(nèi)容整個(gè)生命周期的完全整合。隨著金融行業(yè)的業(yè)務(wù)發(fā)展,各線上線下業(yè)務(wù)渠道不斷拓展,其產(chǎn)生的影像、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)急速增加。據(jù)統(tǒng)計(jì),銀行每天數(shù)據(jù)增量達(dá)到TB級,總體數(shù)據(jù)規(guī)模達(dá)到PB級,影像文件規(guī)模達(dá)到億級,平臺既要滿足實(shí)時(shí)在線業(yè)務(wù)系統(tǒng)的快速響應(yīng),又要滿足前臺查詢、大數(shù)據(jù)分析等業(yè)務(wù)的快速訪問。因此,大數(shù)據(jù)量和高吞吐是銀行內(nèi)容管理系統(tǒng)長期設(shè)計(jì)的核心問題。
傳統(tǒng)的影像平臺存儲架構(gòu)中,很多金融企業(yè)直接將非結(jié)構(gòu)化數(shù)據(jù)存儲在傳統(tǒng)集中式存儲上,集中式架構(gòu)在數(shù)據(jù)量不大的情況下,使用起來簡單方便,但由于數(shù)據(jù)容量的激增,動態(tài)擴(kuò)展就會產(chǎn)生問題。在銀行和保險(xiǎn)業(yè)務(wù)中,金融影像系統(tǒng)保存的影像數(shù)據(jù)隨著互聯(lián)網(wǎng)金融和移動支付以及網(wǎng)貸、小額貸、網(wǎng)上出險(xiǎn)等業(yè)務(wù)的的盛行,數(shù)據(jù)塊的從原有的KB級的小片到百KB的環(huán)境照片和MB級別的小視頻,高清照片等,文件數(shù)量快速增長到千萬級、億級規(guī)模,存儲設(shè)備維護(hù)的索引數(shù)據(jù)越來越龐大,讀寫性能嚴(yán)重下降。用傳統(tǒng)的存儲架構(gòu)顯然無法承載龐大的數(shù)據(jù)量,為影像業(yè)務(wù)帶來了不小的壓力。
具體來看,金融行業(yè)的非結(jié)構(gòu)化數(shù)據(jù)存儲平臺通常還面臨可靠性、性能等多方面挑戰(zhàn)。
首先,在可靠性和數(shù)據(jù)保護(hù)方面,金融行業(yè)重要性必須滿足金融企業(yè)對業(yè)務(wù)連續(xù)性的要求,數(shù)據(jù)不丟失,業(yè)務(wù)不中斷,符合監(jiān)管部門對系統(tǒng)可靠性及數(shù)據(jù)保護(hù)的要求,這就必須搭建安全可靠的數(shù)據(jù)保護(hù)能力、容災(zāi)能力,實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)在兩中心的同時(shí)訪問和數(shù)據(jù)冗余保護(hù)。
其次,在高性能訪問方面,既要保證海量小文件的高速錄入、查詢,又要為大文件提供性能保證,以保證業(yè)務(wù)的快速響應(yīng)。
再次,在架構(gòu)方面,銀行還面臨多樣數(shù)據(jù)類型和不斷增加的數(shù)據(jù)量挑戰(zhàn)。金融行業(yè)數(shù)十億的數(shù)據(jù)積累,非結(jié)構(gòu)化數(shù)據(jù)以指數(shù)級增長,達(dá)到PB級規(guī)模,文本、圖像和音頻等多種類型數(shù)據(jù),存在多格式存儲和多協(xié)議訪問的需求;傳統(tǒng)NAS文件系統(tǒng)技術(shù),單個(gè)文件系統(tǒng)容量受限,目錄文件系統(tǒng)采用B+樹進(jìn)行文件索引,當(dāng)文件數(shù)量過多時(shí),會嚴(yán)重影響訪問性能。
經(jīng)濟(jì)高效、安全易用 浪潮存儲賦能金融內(nèi)容管理
針對金融行業(yè)對非結(jié)構(gòu)化數(shù)據(jù)存儲的需求,浪潮存儲聯(lián)合業(yè)內(nèi)資深的合作伙伴,共同打造新數(shù)據(jù)時(shí)代下的金融內(nèi)容管理場景共同體,為金融用戶提供非結(jié)構(gòu)化數(shù)據(jù)存儲解決方案,幫助用戶建立一個(gè)全新的內(nèi)容管理全生命周期管理場景化方案。
其一,極簡架構(gòu),輕松應(yīng)對業(yè)務(wù)增長帶來的挑戰(zhàn)。
浪潮分布式存儲以一套存儲平臺構(gòu)建一個(gè)資源池,為金融企業(yè)影像提供塊、文件、對象等多協(xié)訪問能力;通過多源數(shù)據(jù)零拷貝技術(shù)消除因數(shù)據(jù)轉(zhuǎn)換帶來的資源消耗,良好對接不同的金融業(yè)務(wù)系統(tǒng);支持性能和容量的在線擴(kuò)展,消除系統(tǒng)瓶頸,單一命名空間可管理文件量數(shù)百倍于NAS存儲,滿足金融金融企業(yè)未來業(yè)務(wù)高速增長需求。
其二,極致安全,多重保障業(yè)務(wù)不中斷。
針對金融內(nèi)容管理應(yīng)用場景特點(diǎn),在應(yīng)用層面可進(jìn)行同城雙中心部署模式,大大提高了系統(tǒng)的高可用,做到RPO=0,保證了數(shù)據(jù)安全??蓞f(xié)助客戶完成數(shù)據(jù)的在線遷移和格式轉(zhuǎn)變,保障了金融企業(yè)業(yè)務(wù)的連續(xù)性。在硬件層面,支持節(jié)點(diǎn)和磁盤故障的數(shù)據(jù)保護(hù),節(jié)點(diǎn)故障秒級快速切換,為上層業(yè)務(wù)訪問提供可靠的連續(xù)性。系統(tǒng)層面,分布式存儲AS13000G5提供糾刪、副本、回收站、WORM、雙活、備份、復(fù)制等數(shù)據(jù)保護(hù)選擇,滿足金融企業(yè)對數(shù)據(jù)的安全保護(hù)需求。
浪潮智能統(tǒng)一存儲管理平臺InView引入AI技術(shù),實(shí)現(xiàn)對存儲平臺自動化部署,提供基于深度學(xué)習(xí)進(jìn)行磁盤健康度預(yù)測,故障預(yù)測準(zhǔn)確率達(dá)95%以上,提升了運(yùn)維自動化水平。
其三,極致性能,提升業(yè)務(wù)系統(tǒng)應(yīng)用響應(yīng)效率。
采用對象接口,利用緩存加速功能,提供比NAS更好的小文件訪問性能,提升整體業(yè)務(wù)訪問效率。具備內(nèi)容感知和大數(shù)據(jù)挖掘能力,提供百萬級文件的秒級檢索、IO延遲亞毫秒,滿足苛刻的應(yīng)用體驗(yàn)。
目前浪潮存儲的金融內(nèi)容場景化解決方案已經(jīng)在某大型股份制商業(yè)銀行落地應(yīng)用。在此項(xiàng)目中,通過對象接口,iTurbo性能優(yōu)化技術(shù),將金融業(yè)務(wù)性能提升50%以上;同時(shí),浪潮存儲通過雙活功能和DNS負(fù)載均衡技術(shù)保證了雙活數(shù)據(jù)中心之間的業(yè)務(wù)均衡處理,為上層業(yè)務(wù)訪問提供可靠的連續(xù)性保障;并協(xié)助用戶完成了原數(shù)據(jù)的在線遷移和格式轉(zhuǎn)變,保障了金融企業(yè)業(yè)務(wù)的平滑升級。
未來浪潮存儲將繼續(xù)和金融行業(yè)合作伙伴共同搭建起“以用戶為中心、以應(yīng)用為導(dǎo)向”的內(nèi)容管理場景共同體,為數(shù)據(jù)產(chǎn)生起從采集、傳輸、使用、備份的全數(shù)據(jù)生命周期體系,讓數(shù)據(jù)真正的流動起來,形成了金融數(shù)據(jù)共享和使用的價(jià)值閉環(huán)。