北京2017年4月27日電 /美通社/ -- 智能互聯(lián)時(shí)代造就的“數(shù)據(jù)洪流”,正沖擊著傳統(tǒng)的企業(yè)管理與運(yùn)營模式,以及人類日常的生活與工作方式。而數(shù)據(jù),在這一變革浪潮中正在成為洞察未來發(fā)展趨向、加速業(yè)務(wù)流程變革,以在日趨激烈的市場競爭環(huán)境中獲取競爭優(yōu)勢的新資源。
然而,企業(yè)用戶傳統(tǒng)的數(shù)據(jù)分析平臺(tái)在選型、搭建、運(yùn)維以及后期拓展等方面面臨昂貴的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)設(shè)備,復(fù)雜的軟件堆棧等技術(shù)障礙造成的嚴(yán)峻挑戰(zhàn)。對數(shù)據(jù)資源的有效利用,既需要高效、靈活的IT基礎(chǔ)設(shè)施保障,也需要?jiǎng)?chuàng)新的服務(wù)交付模式,而英特爾與金山云在KMR上的深入合作,讓云計(jì)算和數(shù)據(jù)分析的深入融合造就數(shù)據(jù)處理模式的新變革,并在用戶服務(wù)等領(lǐng)域提供了一種兼具性能和成本優(yōu)勢的新型解決方案。
“大象”上云分幾步?
自2012年成立以來,憑借領(lǐng)先的VPC和虛擬化技術(shù),金山云成為國內(nèi)首家提供混合云部署方案的云服務(wù)提供商。得益于游戲、視頻、醫(yī)療等垂直行業(yè)客戶的拓展,其已經(jīng)發(fā)展成為國內(nèi)較大的云存儲(chǔ)廠商之一,每天積累約500TB數(shù)據(jù)量,而總數(shù)據(jù)量已經(jīng)高達(dá)400PB。企業(yè)業(yè)務(wù)運(yùn)營積累的大量數(shù)據(jù),要求企業(yè)具備利用數(shù)據(jù)驅(qū)動(dòng)企業(yè)分析、決策和管理的能力,在過去四年多的發(fā)展歷程中,金山云基于開放的英特爾架構(gòu),正在以數(shù)據(jù)分析技術(shù)和人工智能賦予云計(jì)算不同應(yīng)用場景、不同發(fā)展階段的新潛能,以有效應(yīng)對企業(yè)用戶的新需求。
2016年1月,金山云推出了金山云托管Hadoop服務(wù)(Kingsoft MapReduce,KMR),KMR是一個(gè)可伸縮的通用數(shù)據(jù)計(jì)算和分析平臺(tái),它以Apache Hadoop 和Apache Spark兩大數(shù)據(jù)計(jì)算框架為基礎(chǔ),通過自動(dòng)調(diào)度彈性計(jì)算服務(wù)(KEC),幫助快速構(gòu)建分布式數(shù)據(jù)分析系統(tǒng)。這樣一來,用戶可以一站式地通過云計(jì)算,在KMR框架上便捷地進(jìn)行計(jì)算和分析。
與傳統(tǒng)的Hadoop平臺(tái)相比,KMR提供了豐富的管理功能和便捷的程序開發(fā)接口,使企業(yè)可以高效、自動(dòng)化地進(jìn)行數(shù)據(jù)處理和分析工作,節(jié)省管理成本和使用成本。另外,彈性伸縮,靈活計(jì)費(fèi);快速部署,完全托管;全面的服務(wù)可用性保障與云服務(wù)產(chǎn)品深度整合的優(yōu)勢也是這一數(shù)據(jù)分析平臺(tái)的技術(shù)優(yōu)勢。
作為國內(nèi)領(lǐng)先的電商平臺(tái),擁有幾十大類、數(shù)百萬種產(chǎn)品的當(dāng)當(dāng)網(wǎng),成為金山云KMR服務(wù)的受益者之一?;趯`活的云計(jì)算數(shù)據(jù)分析洞察力的需求,金山云和當(dāng)當(dāng)網(wǎng)之間通過專線將本地?cái)?shù)據(jù)和云端數(shù)據(jù)打通,并通過KMR集群在云上搭建Storm和Kafka實(shí)時(shí)數(shù)據(jù)分析集群,在業(yè)務(wù)需求變化時(shí)可以動(dòng)態(tài)地調(diào)整計(jì)算資源,有效控制IT成本。此外,通過數(shù)據(jù)庫服務(wù)和底層基于英特爾強(qiáng)大的芯片加速技術(shù)和存儲(chǔ)能力,妥善保障當(dāng)當(dāng)網(wǎng)的業(yè)務(wù)訪問。云計(jì)算結(jié)合性能強(qiáng)大的數(shù)據(jù)分析服務(wù),不僅讓當(dāng)當(dāng)網(wǎng)有效實(shí)現(xiàn)了本地?cái)?shù)據(jù)和云上數(shù)據(jù)的打通,加速獲取數(shù)據(jù)洞察;更妥善解決了雙十一等促銷節(jié)點(diǎn)導(dǎo)致的陡增的計(jì)算資源需求壓力,讓當(dāng)當(dāng)穩(wěn)妥應(yīng)對業(yè)務(wù)增長帶來的技術(shù)挑戰(zhàn)。
金山云技術(shù)產(chǎn)品部高級產(chǎn)品經(jīng)理?xiàng)盍两榻B說:“通過這個(gè)項(xiàng)目,可以幫助當(dāng)當(dāng)網(wǎng)在很大的用戶促銷壓力下,保證IT系統(tǒng)的穩(wěn)定運(yùn)行,同時(shí)可以大幅度減少運(yùn)維和資源應(yīng)用成本。此外,通過金山云的服務(wù),可以幫助用戶優(yōu)化業(yè)務(wù)靈活性,調(diào)整資源配置?!?/p>
英特爾賦予KMR芯動(dòng)力,助力釋放云端數(shù)據(jù)價(jià)值
強(qiáng)大的數(shù)據(jù)分析能力根植于高性能、靈活、敏捷的IT基礎(chǔ)設(shè)施,開放的英特爾架構(gòu)以高效的分布式計(jì)算拓展能力,成為金山云在云計(jì)算時(shí)代底層硬件架構(gòu)的首選。從傳統(tǒng)的IT架構(gòu)到云上的大數(shù)據(jù),隨著計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)性能的不斷提升,計(jì)算集群和存儲(chǔ)集群可以獨(dú)立構(gòu)建并通過高速互聯(lián)網(wǎng)相互連接,通過對象存儲(chǔ)、虛擬化、容器等技術(shù)實(shí)現(xiàn)多租戶的安全性和靈活性的結(jié)合。由此,硬件的革命使Big Data加上Cloud成為可能,成為Big Data As a Service。
在KMR實(shí)際的研發(fā)、運(yùn)營和服務(wù)交付過程中,英特爾至強(qiáng)E5 v4處理器,以及快速、穩(wěn)定、高效的SSD硬盤,為產(chǎn)品構(gòu)建和用戶服務(wù)提供了堅(jiān)實(shí)的基礎(chǔ);同時(shí),英特爾在開源項(xiàng)目和軟件上進(jìn)行優(yōu)化,類似于BigDL等框架,對優(yōu)化Spark機(jī)器學(xué)習(xí)的性能有巨大幫助。英特爾不僅為金山云提供了性能強(qiáng)勁的硬件平臺(tái),也積極與金山云一起對數(shù)據(jù)收集、存儲(chǔ)、處理、展現(xiàn)的每一個(gè)模塊進(jìn)行優(yōu)化,尋求進(jìn)一步的合作。
同時(shí),隨著人工智能需求與應(yīng)用的爆發(fā),為了幫助行業(yè)用戶在數(shù)據(jù)時(shí)代輕松應(yīng)對創(chuàng)新多變的業(yè)務(wù)需求,金山云與英特爾在深度學(xué)習(xí)領(lǐng)域開展深入合作,搭建了KDL高性能異構(gòu)計(jì)算平臺(tái)。通過統(tǒng)一資源調(diào)度,金山云讓客戶可以很容易地訪問云存儲(chǔ)和高性能異構(gòu)計(jì)算集群,并且在上層整合了大數(shù)據(jù)和深度學(xué)習(xí)運(yùn)行,從而為客戶提供一站式深度學(xué)習(xí)平臺(tái),幫客戶處理好預(yù)處理、訓(xùn)練、評估、預(yù)測四個(gè)階段的研發(fā)任務(wù),幫助企業(yè)能夠更加快速的迭代。
“大數(shù)據(jù)提供的是并行計(jì)算和分布式存儲(chǔ),云提供的是動(dòng)態(tài)配置。我們利用機(jī)器學(xué)習(xí)的大腦,大數(shù)據(jù)的輪子來算,云計(jì)算提供了一個(gè)動(dòng)態(tài)分配引擎,三者結(jié)合到一起實(shí)際上就實(shí)現(xiàn)了云上的大數(shù)據(jù)機(jī)器學(xué)習(xí)?!庇⑻貭柤夹g(shù)專家解釋了云、數(shù)據(jù)分析和深度學(xué)習(xí)三者緊密的聯(lián)系和融合價(jià)值。
未來,英特爾與金山云還將繼續(xù)開拓創(chuàng)新、延伸合作,積極發(fā)揮金山云豐富的云服務(wù)產(chǎn)品功能與英特爾強(qiáng)大且穩(wěn)定的平臺(tái)優(yōu)勢,共同構(gòu)建多層次的人工智能解決方案?!敖鹕皆平酉聛頃?huì)響應(yīng)國家的號召,與廣大科研院所,還有英特爾這樣的科技界的合作伙伴一起,構(gòu)建我們金山云多層次的人工智能解決方案,為我們整個(gè)行業(yè)提供基礎(chǔ)的視覺、聽覺、自然語言、VR/AR等等技術(shù)能力,再到我們更上層的行業(yè)解決方案。”金山云大數(shù)據(jù)和AI技術(shù)總監(jiān)張東進(jìn)說,“金山云將在醫(yī)療、金融、交通、物聯(lián)網(wǎng)等等重大行業(yè)里面進(jìn)行深入研究,為我們廣大的合作伙伴提供行業(yè)解決方案,全面助力數(shù)字社會(huì)的加速發(fā)展?!?/p>