omniture

七牛云存儲(chǔ):三年磨一劍及背后核心技術(shù)解析

2014-11-20 13:24 9112
七牛云存儲(chǔ)CTO韓拓表示當(dāng)下IssS和PaaS的邊界已經(jīng)模糊化,客戶變得更加理性,他們更加關(guān)注云存儲(chǔ)產(chǎn)品帶給他們的實(shí)際價(jià)值。在這樣的市場(chǎng)態(tài)勢(shì)下,七牛以數(shù)據(jù)為自己的核心價(jià)值,并圍繞數(shù)據(jù)這個(gè)主題為企業(yè)提供豐富的周邊功能,如上傳下載CDN加速、數(shù)據(jù)處理、分析、自定義計(jì)算平臺(tái)等業(yè)務(wù)。

上海2014年11月20日電 /美通社/ -- 談及七牛的定位,七牛云存儲(chǔ)CTO韓拓表示當(dāng)下IssS和PaaS的邊界已經(jīng)模糊化,客戶變得更加理性,他們更加關(guān)注云存儲(chǔ)產(chǎn)品帶給他們的實(shí)際價(jià)值。在這樣的市場(chǎng)態(tài)勢(shì)下,七牛以數(shù)據(jù)為自己的核心價(jià)值,并圍繞數(shù)據(jù)這個(gè)主題為企業(yè)提供豐富的周邊功能,如上傳下載CDN加速、數(shù)據(jù)處理、分析、自定義計(jì)算平臺(tái)等業(yè)務(wù)。

從2011年成立以來(lái),七牛目前累計(jì)擁有15萬(wàn)企業(yè)和開(kāi)發(fā)者客戶,而談到七牛的優(yōu)勢(shì),他表示對(duì)業(yè)務(wù)的專注、雄厚的技術(shù)實(shí)力、獨(dú)特的產(chǎn)品風(fēng)格以及良好的服務(wù)意識(shí)是七牛成功的關(guān)鍵。七牛目前的100多名員工中,技術(shù)崗位占一半以上,核心技術(shù)團(tuán)隊(duì)來(lái)自金山、盛大云、百度等公司,其多數(shù)據(jù)中心的廣域網(wǎng)分布式架構(gòu),雙數(shù)據(jù)中心間的互備,低成本、高可用性的冗余算法等核心技術(shù)都是七牛在云存儲(chǔ)領(lǐng)域不斷打磨、優(yōu)化而來(lái),他坦言,七牛自成立三年以來(lái),可以說(shuō)只做了一件事那就是存儲(chǔ)。本文來(lái)自對(duì)韓拓的采訪整理。

七牛云存儲(chǔ)CTO韓拓
七牛云存儲(chǔ)CTO韓拓

七牛的團(tuán)隊(duì)、定位、用戶規(guī)模

CSDN:首先介紹下自己和七牛,目前的技術(shù)團(tuán)隊(duì)情況?

韓拓:我2007年畢業(yè)后的第一份工作在金山軟件,進(jìn)入當(dāng)時(shí)剛剛成立的金山實(shí)驗(yàn)室,主要參與分布式存儲(chǔ)系統(tǒng)的研究和實(shí)踐。2008年金山開(kāi)始金山快盤項(xiàng)目,我?guī)ьI(lǐng)存儲(chǔ)團(tuán)隊(duì)主導(dǎo)了快盤第一版存儲(chǔ)系統(tǒng)的設(shè)計(jì)、研發(fā)與上線。之后我到上海,加入一個(gè)網(wǎng)絡(luò)游戲的創(chuàng)業(yè)團(tuán)隊(duì),全面參與游戲服務(wù)端架構(gòu)、開(kāi)發(fā)和3D渲染方面的工作。2011年七牛云存儲(chǔ)成立,我有幸在創(chuàng)業(yè)之初加入,參與七牛云存儲(chǔ)的產(chǎn)品設(shè)計(jì)、研發(fā)和運(yùn)維,并在七牛工作至今。

七牛目前有100多名員工,技術(shù)崗位占一半以上,按產(chǎn)品和職能分為10余個(gè)部門,核心技術(shù)團(tuán)隊(duì)來(lái)自金山云、盛大云、百度等公司。從創(chuàng)業(yè)至今七牛已經(jīng)走過(guò)3年,這3年里我們打造了國(guó)內(nèi)領(lǐng)先的云存儲(chǔ)產(chǎn)品,得到了15萬(wàn)的企業(yè)和開(kāi)發(fā)者的信任,并成為他們的云存儲(chǔ)提供商,日上傳文件數(shù)億個(gè),獨(dú)立的活躍IP數(shù)已經(jīng)覆蓋了中國(guó)一半的網(wǎng)民。

CSDN:你覺(jué)得目前國(guó)內(nèi)外云存儲(chǔ)市場(chǎng)態(tài)勢(shì)是什么樣的?七牛在其中的定位是什么?

韓拓:自Amazon推出AWS產(chǎn)品以來(lái),云存儲(chǔ)的市場(chǎng)一直在快速發(fā)展,隨著云存儲(chǔ)產(chǎn)品易用性和品質(zhì)的不斷提升、成本的不斷下降,已有越來(lái)越多的企業(yè)選擇使用云存儲(chǔ)構(gòu)建自己的業(yè)務(wù),或使用云存儲(chǔ)替代原有的傳統(tǒng)存儲(chǔ)方案,尤其在最近1年,隨著傳統(tǒng)行業(yè)的互聯(lián)網(wǎng)化,我們觀察到云存儲(chǔ)的市場(chǎng)容量在非常迅速的擴(kuò)大,我們相信隨著這波變革的浪潮,云存儲(chǔ)的市場(chǎng)會(huì)到達(dá)爆發(fā)的臨界點(diǎn)。

從產(chǎn)品來(lái)說(shuō),云存儲(chǔ)的產(chǎn)品形態(tài)發(fā)展到今天,與2007年左右這個(gè)概念剛剛興起時(shí)已有很大不同,一方面市場(chǎng)上出現(xiàn)了很多基于云存儲(chǔ)的PaaS產(chǎn)品,讓開(kāi)發(fā)者可以更便利的使用云存儲(chǔ),另一方面IaaS廠商也在不斷上浮,推出了很多更有針對(duì)性、更垂直化的產(chǎn)品,從今天的市場(chǎng)態(tài)勢(shì)看,IssS和PaaS的邊界已經(jīng)模糊化,客戶也變得更加理性,他們更加關(guān)注云存儲(chǔ)產(chǎn)品帶給他們的實(shí)際價(jià)值,這些都是云存儲(chǔ)真正落地,成為全球范圍被廣泛認(rèn)可的IT基礎(chǔ)設(shè)施的信號(hào)。

在這樣的市場(chǎng)態(tài)勢(shì)下,七牛以數(shù)據(jù)為自己的核心價(jià)值,并圍繞數(shù)據(jù)這個(gè)主題為企業(yè)提供豐富的周邊功能,如上傳下載CDN加速、數(shù)據(jù)處理、分析、自定義計(jì)算平臺(tái)等業(yè)務(wù),接管數(shù)據(jù)產(chǎn)生、上傳、存儲(chǔ)、處理分析、下載等全部流程,力求為企業(yè)提供全生命周期的數(shù)據(jù)管理服務(wù)。

七牛的產(chǎn)品應(yīng)用場(chǎng)景非常廣泛,可以說(shuō)所有涉及到非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的場(chǎng)景都可以使用七牛,如圖片、視頻類的APP、靜態(tài)網(wǎng)站或網(wǎng)站的靜態(tài)數(shù)據(jù)、UGC類的業(yè)務(wù)、在線教育、視頻監(jiān)控、直播、SNS、音樂(lè)類業(yè)務(wù)、備份和冷數(shù)據(jù)存儲(chǔ)、網(wǎng)盤等等。

CSDN:七牛目前的用戶規(guī)模如何,有哪些重量級(jí)的客戶?

韓拓:如剛才所說(shuō),七牛目前有15萬(wàn)企業(yè)和開(kāi)發(fā)者客戶,新增客戶大概幾百到上千不等,其實(shí)不乏一些重量級(jí)和明星企業(yè),如美圖、camer360、窮游、???、豌豆莢、陌陌等。站在客戶的角度,我們能為他們提供:

首先成本方面,一個(gè)是降低開(kāi)發(fā)成本,企業(yè)不必再自己研發(fā)一套存儲(chǔ)系統(tǒng)了;一個(gè)是降低運(yùn)維成本,托管式的云存儲(chǔ)完成免運(yùn)維;一個(gè)是硬件的沉沒(méi)成本,按需付費(fèi),一次性的投入小,非常適合中小企業(yè)和大企業(yè)中剛剛起步的業(yè)務(wù)。

其次收益方面,使用更專業(yè)的服務(wù),可以增強(qiáng)數(shù)據(jù)可靠性和可用性,提升上傳下載速度,可以方便的使用七牛周邊的數(shù)據(jù)處理、自定義計(jì)算、數(shù)據(jù)統(tǒng)計(jì)、報(bào)表等服務(wù),這些都為開(kāi)發(fā)者提供了極大的便利。

核心優(yōu)勢(shì)

CSDN:云存儲(chǔ)一直是國(guó)內(nèi)外云巨頭的必爭(zhēng)之地,你覺(jué)得七牛在云存儲(chǔ)領(lǐng)域的優(yōu)勢(shì)體現(xiàn)在哪些方面?

韓拓:我們的優(yōu)勢(shì)可以從幾個(gè)方面來(lái)談:

第一是專注。國(guó)內(nèi)外涉足云存儲(chǔ)產(chǎn)品的巨頭很多,但是像七牛這樣專注在這個(gè)領(lǐng)域的公司非常少。存儲(chǔ)是一個(gè)很大的話題,想做好、做深不容易,需要投入大量的時(shí)間和精力,需要有足夠的耐心,不斷去打磨、優(yōu)化,需要耐得住寂寞,不被外界的誘惑所打擾,做很多看似枯燥實(shí)則非常有價(jià)值的前研性的學(xué)術(shù)研究和探索。七牛在這方面做得非常好,我們成立三年來(lái),可以說(shuō)只做了一件事就是存儲(chǔ),所以在存儲(chǔ)這個(gè)領(lǐng)域,我們才能做到有百分之一百的自信,絕不輸給任何行業(yè)巨頭。

還有一點(diǎn)是技術(shù)實(shí)力。我們的核心團(tuán)隊(duì)是國(guó)內(nèi)較早研究分布式存儲(chǔ)的一批人,在這個(gè)領(lǐng)域已經(jīng)摸爬滾打很多年,也為不同的業(yè)務(wù)做過(guò)了很多次的存儲(chǔ)系統(tǒng),所以我們對(duì)存儲(chǔ)系統(tǒng)的設(shè)計(jì)和研發(fā)都積累了非常多的經(jīng)驗(yàn)。得益于這些經(jīng)驗(yàn),在七牛創(chuàng)建之初,我們可以用三個(gè)月的時(shí)間就上線第一版的產(chǎn)品,在之后的三年里,我們做到平均每周產(chǎn)品更新兩、三次,通過(guò)這三年的技術(shù)積累,不斷迭代、打磨,自然形成了在市場(chǎng)上極具優(yōu)勢(shì)的產(chǎn)品。

第三點(diǎn)優(yōu)勢(shì)我認(rèn)為是七牛獨(dú)特的做產(chǎn)品的風(fēng)格。云存儲(chǔ)是一個(gè)比較抽象的產(chǎn)品,它的界面就是各種API,從這個(gè)角度來(lái)看,云存儲(chǔ)的產(chǎn)品不好把握,在這個(gè)問(wèn)題上,七牛有一套自己獨(dú)特的方法論:用戶需求驅(qū)動(dòng)產(chǎn)品迭代。剛才提到,在七牛創(chuàng)建之初,我們用三個(gè)月的時(shí)間上線了第一版產(chǎn)品,這一版的產(chǎn)品很簡(jiǎn)單,只提供最普通的上傳、下載功能,在這一版本產(chǎn)品基礎(chǔ)上,我們引入種子客戶,客戶在使用過(guò)程中通常會(huì)提出自己獨(dú)特的需求,,我們會(huì)用較快的速度響應(yīng)這些需求,將需求抽象化,并在產(chǎn)品中實(shí)現(xiàn),這個(gè)時(shí)間非???,通常是兩、三天就可以上線,在這個(gè)過(guò)程中,產(chǎn)品會(huì)自然而然的得到完善。隨著產(chǎn)品的完善,會(huì)引來(lái)更多的客戶,更多的客戶會(huì)帶來(lái)更多的需求,幫助我們更加完善自己的產(chǎn)品,這是一個(gè)非常好的良性循環(huán)。對(duì)產(chǎn)品的審美,我們從不妄自菲薄,也不會(huì)主觀自大,而是一切跟隨需求而動(dòng),這個(gè)方法論沿用至今,幫助七牛的產(chǎn)品在市場(chǎng)上一直處于領(lǐng)先地位。

第四點(diǎn)我想談?wù)劮?wù)意識(shí)。云存儲(chǔ)的核心世界觀我認(rèn)為是托管二字,“托管”中的“管”字其實(shí)就是指服務(wù),所以服務(wù)意識(shí)是運(yùn)營(yíng)一個(gè)云存儲(chǔ)業(yè)務(wù)核心的要素之一。七牛一直很重視對(duì)客戶的服務(wù),從創(chuàng)業(yè)之初起,我們就建立了7*24小時(shí)的技術(shù)支持、運(yùn)維、開(kāi)發(fā)聯(lián)動(dòng)的客戶支持體系,做到第一時(shí)間響應(yīng)并處理客戶的問(wèn)題,對(duì)于重要問(wèn)題,CEO和其它高管甚至?xí)H自提供一對(duì)一的客戶服務(wù),對(duì)于需要幫助的中小企業(yè)和初創(chuàng)企業(yè),我們的架構(gòu)師還會(huì)深入了解對(duì)方的架構(gòu),并提供對(duì)應(yīng)的架構(gòu)建議和接入方案。良好的服務(wù)意識(shí)彌補(bǔ)了一些產(chǎn)品上的死角,使七牛真正成為企為貼心的數(shù)據(jù)管家,我認(rèn)為這也是我們能夠領(lǐng)先于其它云存儲(chǔ)廠商很關(guān)鍵的一點(diǎn)原因。

技術(shù)架構(gòu)

CSDN:注意到你們?cè)谠拼鎯?chǔ)領(lǐng)域擁有國(guó)內(nèi)先進(jìn)的全分布式架構(gòu)以及存儲(chǔ)技術(shù),能否分享一下你們?cè)谶@方面使用到的一些技術(shù),架構(gòu)和實(shí)踐經(jīng)驗(yàn)?

韓拓:在技術(shù)上我們引以為豪的點(diǎn)有很多,我選幾個(gè)大家容易理解的舉例。

第一個(gè)是多數(shù)據(jù)中心的廣域網(wǎng)分布式架構(gòu)。七牛使用多數(shù)據(jù)中心技術(shù)有兩個(gè)目的:一個(gè)是多數(shù)據(jù)中心的存儲(chǔ),一個(gè)是多數(shù)據(jù)中心的上傳、下載加速。七牛在全國(guó)有數(shù)個(gè)核心的存儲(chǔ)機(jī)房,這些機(jī)房的規(guī)模都比較大,用于存儲(chǔ)客戶的數(shù)據(jù),客戶可以根據(jù)自己的業(yè)務(wù)特點(diǎn),主動(dòng)選擇一個(gè)或多個(gè)存儲(chǔ)機(jī)房使用,或者不關(guān)心多存儲(chǔ)機(jī)房的架構(gòu),完全交給七牛的系統(tǒng)來(lái)調(diào)度數(shù)據(jù),這個(gè)技術(shù)給客戶提供了較大的靈活性,比如網(wǎng)盤類的業(yè)務(wù),本地化特征非常明顯,終端用戶通常在只同一個(gè)城市上傳和下載,這時(shí)我們就可以支持不同區(qū)域的端終使用不同區(qū)域的存儲(chǔ)機(jī)房,如北京的客戶端使用北京的存儲(chǔ)機(jī)房存儲(chǔ),上海的客戶端使用上海的存儲(chǔ)機(jī)房存儲(chǔ),這樣數(shù)據(jù)存放的位置與使用的位置最近,獲得較好的上傳、下載速度。還有一類業(yè)務(wù)無(wú)顯示的地域特征,比如微博類的分享應(yīng)用,數(shù)據(jù)上傳和下載的位置通常不在一起,數(shù)據(jù)由客戶自己調(diào)度就顯得很麻煩,這時(shí)就可以使用七牛的系統(tǒng)來(lái)調(diào)度數(shù)據(jù),而不關(guān)心數(shù)據(jù)具體存于哪個(gè)機(jī)房。我們會(huì)將數(shù)據(jù)先存放到離上傳最近的機(jī)房,然后根據(jù)讀取情況異步將數(shù)據(jù)智能調(diào)度到其它機(jī)房,包括與CDN合作建設(shè)的數(shù)百個(gè)加速節(jié)點(diǎn),以獲得較好的訪問(wèn)題速度。

另一個(gè)有意思的是雙數(shù)據(jù)中心間的互備。將數(shù)據(jù)存放于一個(gè)數(shù)據(jù)中心內(nèi)的風(fēng)險(xiǎn)很大,如果數(shù)據(jù)中心斷電、斷網(wǎng),會(huì)造成數(shù)據(jù)的不可用,如果一個(gè)數(shù)據(jù)中心發(fā)生災(zāi)難性事故,還可能會(huì)造成數(shù)據(jù)丟失,所以七牛使用了雙數(shù)據(jù)中心的互備技術(shù)。我們將兩個(gè)數(shù)據(jù)中心用裸光纖互聯(lián),當(dāng)用戶上傳文件到某個(gè)數(shù)據(jù)中心時(shí),系統(tǒng)異步將文件數(shù)據(jù)和相關(guān)原數(shù)據(jù)同步到與之互備的另一數(shù)據(jù)中心,這樣當(dāng)一個(gè)數(shù)據(jù)中心故障時(shí),我們會(huì)根據(jù)故障的級(jí)別啟用不同的應(yīng)急預(yù)案,將請(qǐng)求切換到與之互備的數(shù)據(jù)中心。

還有一個(gè)很重要的是低成本、高可用性的冗余算法。在技術(shù)上存儲(chǔ)系統(tǒng)的核心訴求是成本和可靠性,而這兩者又是一對(duì)矛盾,想降低丟失數(shù)據(jù)的風(fēng)險(xiǎn),勢(shì)必要增加每份數(shù)據(jù)拷貝的份數(shù),而增加每份數(shù)據(jù)拷貝的份數(shù),又勢(shì)必增加成本,七牛使用EC冗余算法來(lái)平衡這對(duì)矛盾。這個(gè)算法將一份數(shù)據(jù)拆分成M份,并將這M份數(shù)據(jù)代入一個(gè)多元線性方程組,算出N份校驗(yàn)數(shù)據(jù),然后將這M+N份數(shù)據(jù)存儲(chǔ),在存儲(chǔ)下來(lái)的M+N份數(shù)據(jù)中,有任何一份或多份數(shù)據(jù)損壞,我們都可以通過(guò)這個(gè)多元線性方程組將損壞的數(shù)據(jù)算回,由這個(gè)原理我們很容易得到一個(gè)結(jié)論,使用EC冗余算法的系統(tǒng)最多支持N份數(shù)據(jù)損毀而不丟失數(shù)據(jù),七牛使用了一些自己獨(dú)有的技術(shù),將M和N都做到比較大的數(shù)值,M又遠(yuǎn)遠(yuǎn)大于N,使得系統(tǒng)的備份數(shù)非常低 — (M+N)/M (M遠(yuǎn)大于N),而可靠性又非常高 — 可同時(shí)損壞N份數(shù)據(jù)(N也是較大的數(shù)值)。

安全保證

CSDN:尤其是企業(yè)級(jí)客戶對(duì)安全的重視可以說(shuō)是零容忍,你們?nèi)绾伪WC?

韓拓:企業(yè)對(duì)安全的訴求通常是兩方面,一是數(shù)據(jù)不丟失,二是數(shù)據(jù)不泄漏。在數(shù)據(jù)不丟失方面,我前面講過(guò)七牛使用EC冗余算法,獲得了極高的數(shù)據(jù)可靠性,并在此基礎(chǔ)上又引入雙數(shù)據(jù)中心互備來(lái)避免單機(jī)房災(zāi)難性事故,通過(guò)這些努力,七牛做到保護(hù)企業(yè)的數(shù)據(jù)零丟失。

在數(shù)據(jù)不泄漏方面,一方面七牛通過(guò)防火墻、堡壘機(jī)、安全審計(jì)、告警機(jī)制,內(nèi)外網(wǎng)DMZ隔離、文件數(shù)據(jù)打散存儲(chǔ)、元數(shù)據(jù)與文件數(shù)據(jù)分離存儲(chǔ)等技術(shù)和手段保證安全,另一方面七牛加強(qiáng)內(nèi)部人員和流程管理,任何內(nèi)部人員的操作都通過(guò)嚴(yán)格的授權(quán)和審計(jì),確保內(nèi)部工作人員無(wú)法接觸到生產(chǎn)系統(tǒng)的數(shù)據(jù)。

Photo - http://photos.prnasia.com/prnh/20141120/0861408724

消息來(lái)源:七牛云存儲(chǔ)
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營(yíng)動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購(gòu)消息。掃描二維碼,立即訂閱!
collection