紅帽Andrew Hatfield:存儲(chǔ)市場(chǎng)的顛覆與Ceph技術(shù)架構(gòu)的崛起

Andrew  Hatfield在演講中表示：紅帽的存儲(chǔ)是分布式的企業(yè)存儲(chǔ)，已經(jīng)進(jìn)行了大規(guī)模的驗(yàn)證。用戶可以按照自己的需求進(jìn)行對(duì)象存儲(chǔ)和文件存儲(chǔ)等擴(kuò)展服務(wù)。基于Ceph技術(shù)架構(gòu)正在崛起，Ceph可以讓技術(shù)架構(gòu)更透明，讓所有可能出現(xiàn)的技術(shù)問(wèn)題更透明。Ceph可以通過(guò)可視化的方式實(shí)現(xiàn)對(duì)數(shù)據(jù)中心進(jìn)行管理和監(jiān)控。Andrew  Hatfield從技術(shù)演進(jìn)、用戶實(shí)踐、商業(yè)模式談了Ceph的崛起路線。

以下是Andrew  Hatfield的演講實(shí)錄：

紅帽的存儲(chǔ)是分布式的企業(yè)存儲(chǔ)，已經(jīng)進(jìn)行了大規(guī)模的驗(yàn)證。用戶可以用它然后在你自己的數(shù)據(jù)中心進(jìn)行使用，不需要了解具體的哪一個(gè)硬件技術(shù)，完全是靈活的，按照你的需求進(jìn)行拓展。有了紅帽以后不需要買非常大的硬盤，可以一次進(jìn)行購(gòu)買，可以進(jìn)行對(duì)象存儲(chǔ)和文件存儲(chǔ)，這樣有多種的技術(shù)去做不同的工作， Ceph開(kāi)源是一種軟件定義的平臺(tái)，完全可以用Ceph做同樣的事情。

那到底什么是Ceph？是一系列服務(wù)。從提供設(shè)計(jì)負(fù)載，到系統(tǒng)預(yù)設(shè)等，可以幫助你快速部署。在這些模塊之下，把所有服務(wù)器聯(lián)絡(luò)起來(lái)，把數(shù)據(jù)送到存儲(chǔ)里，然后共享。對(duì)于Ceph可以做非常強(qiáng)大的一點(diǎn)是可以進(jìn)行系統(tǒng)的描述，看數(shù)據(jù)中心是怎樣的。網(wǎng)絡(luò)當(dāng)中的設(shè)備或者電路發(fā)生問(wèn)題時(shí)，可以識(shí)別出來(lái)。今天系統(tǒng)設(shè)計(jì)時(shí)，傳統(tǒng)是怎樣的？出現(xiàn)一些不起眼的問(wèn)題時(shí)，可能會(huì)出現(xiàn)多個(gè)冗余的服務(wù)器。現(xiàn)在有了Ceph之后，你認(rèn)為出現(xiàn)故障是非常自然的狀態(tài)，可以進(jìn)行適配，無(wú)論是電纜還是架、服務(wù)器出現(xiàn)問(wèn)題，Ceph可以更好地理解它，不會(huì)有任何干擾而持續(xù)工作下去。這是非常強(qiáng)大的，在我們背后的一個(gè)重要能力。

今天采用Ceph的方式，最經(jīng)?？吹降氖怯肙penstack來(lái)支持的，70%使用公共語(yǔ)言是用Ceph。而且公共集成，在云系統(tǒng)里都是和Ceph連接的，不管是Swift等等，當(dāng)你部署云時(shí)，不管是針對(duì)你自己還是客戶時(shí)，可以進(jìn)行同樣方式的部署，不是一個(gè)傳統(tǒng)的存儲(chǔ)系統(tǒng)，而是你要在和它整合在一起，有紅帽的平臺(tái)，而且包括Openstack的存儲(chǔ)，可以輕易地部署。

從商業(yè)角度來(lái)說(shuō)，它的業(yè)務(wù)優(yōu)勢(shì)是什么？大家都知道開(kāi)源沒(méi)有專有權(quán)，可以讓你開(kāi)發(fā)，不管是有一個(gè)問(wèn)題或者有一個(gè)bug，你需要尋求幫助，或者你想要根據(jù)自己的環(huán)境增加新的功能，你不光是有機(jī)會(huì)，而且我們鼓勵(lì)你這樣做，因?yàn)樗粋€(gè)合作性的，這就意味著存儲(chǔ)軟件是你想要的樣子，紅帽不會(huì)去壟斷，也不會(huì)去限制它的功能或者能夠做一些什么，它非常靈活，我們鼓勵(lì)參與、希望你們參與，這是我們紅帽工作的方式，是我們社區(qū)的核心內(nèi)容，因?yàn)檫@樣，你就避免了鎖定。

比如你有一個(gè)服務(wù)器的供應(yīng)商，但出于某種原因這種供應(yīng)商不適合你了，你有靈活性和自由選擇其他的供應(yīng)商，比如Intel這樣的公司，你可以選擇系統(tǒng)，而不是他們對(duì)進(jìn)行控制。我們有大社區(qū)和大系統(tǒng)，用很多公司做了很多工作，比如Intel在Ceph的高效方面做了很多工作，他們給社區(qū)帶來(lái)了很多專業(yè)知識(shí)，比如和硬件進(jìn)行融合等等，每一個(gè)人都從中受益。前面Chirs  Mawer也說(shuō)到了，傳統(tǒng)上要購(gòu)買傳統(tǒng)的存儲(chǔ)，買很大，漸漸地填滿，客戶會(huì)估計(jì)他們需要多少存儲(chǔ)量，存儲(chǔ)保留多長(zhǎng)時(shí)間，三年、四年，然后設(shè)備上的容量不夠了，而且時(shí)間只過(guò)去了一半，因此他們有大量的資本支出和購(gòu)買新的存儲(chǔ)量，因?yàn)槲覀兪擒浖x存儲(chǔ)。我們的方式可以降低成本，了解到自己的需求，不需要一次性購(gòu)買大量的存儲(chǔ)，因?yàn)榧t帽可以支持所有開(kāi)發(fā)，驅(qū)動(dòng)社區(qū)的發(fā)展和合作伙伴、競(jìng)爭(zhēng)對(duì)手之間的合作可提供最好的存儲(chǔ)軟件給客戶?？蛻舨挥脫?dān)心紅帽或者Ceph對(duì)于未來(lái)是合適的，因?yàn)槟阒涝谶@兒是有保障的。

還有技術(shù)方面的優(yōu)勢(shì)。比如你現(xiàn)在在運(yùn)行一個(gè)云，把所有東西連接在一起。這個(gè)Ceph可以實(shí)現(xiàn)，你在云上運(yùn)行，Ceph幫你訴諸這些應(yīng)用程序，你可以存儲(chǔ)你的對(duì)象、文件等。所有硬件和基礎(chǔ)設(shè)施都有了。我們也可以擴(kuò)展到更大的量。

昨天晚上我跟中國(guó)移動(dòng)的工程師有交流，這不是一個(gè)小規(guī)模的存儲(chǔ)系統(tǒng)，一些小的提供商會(huì)碰到一些問(wèn)題，特別是對(duì)于性能、成本上的可持續(xù)。我們有一個(gè)機(jī)制，沒(méi)有單點(diǎn)故障，服務(wù)器獨(dú)立地存儲(chǔ)，還有你的云系統(tǒng)等等。如果一個(gè)開(kāi)關(guān)、服務(wù)器出的問(wèn)題，服務(wù)器不會(huì)中斷，環(huán)境在運(yùn)行，Ceph會(huì)在故障周圍繼續(xù)運(yùn)行，可以持續(xù)提供服務(wù)，有這種彈性，即使知道有一些地方出現(xiàn)了故障。

還有其他技術(shù)，比如自愈能力。網(wǎng)絡(luò)出現(xiàn)了故障，讓工程師換開(kāi)關(guān)，Ceph會(huì)意識(shí)到這個(gè)問(wèn)題，而且會(huì)自動(dòng)恢復(fù)到最佳狀態(tài)，進(jìn)行自愈、自我管理。因此管理起來(lái)非常簡(jiǎn)單，當(dāng)你了解你要什么功能，開(kāi)始的時(shí)候可以進(jìn)行設(shè)計(jì)，根據(jù)你的需要來(lái)做，Ceph會(huì)自己管理。

我們很多服務(wù)器有彈性，確保高效，不會(huì)有很多熱點(diǎn)或者讓一個(gè)地方工作起來(lái)特別忙碌，它會(huì)把工作量予以平均分配。

從Openstack這個(gè)角度，我們有工作云，Ceph的Openstack運(yùn)行非常好，Openstack早期的時(shí)候，Ceph一起與Openstack項(xiàng)目工作，當(dāng)時(shí)有深度的集成。傳統(tǒng)云服務(wù)構(gòu)成了挑戰(zhàn)，如果想要啟動(dòng)虛擬機(jī)非常慢，如果想要啟動(dòng)十個(gè)、二十個(gè)或者一百個(gè)虛擬機(jī)，傳統(tǒng)的存儲(chǔ)沒(méi)有辦法實(shí)現(xiàn)。一個(gè)集成的Ceph，我們能夠順時(shí)間啟動(dòng)很多的虛擬機(jī)。因?yàn)槲覀冎繭penstack是如何工作的，因此我們能夠快速地進(jìn)行備份和復(fù)制。傳統(tǒng)方式應(yīng)用數(shù)據(jù)的彈性或者災(zāi)難恢復(fù)等對(duì)于很多企業(yè)不是那么適用。我們要解決這個(gè)問(wèn)題，Ceph會(huì)提供災(zāi)難恢復(fù)及存檔服務(wù)，能夠提供多層列式、多站點(diǎn)式的復(fù)制，比如你們可以用歸檔或者照片的存檔。還可以快速存儲(chǔ)，把不同功能進(jìn)行層列化、進(jìn)行分層，根據(jù)客戶的需求來(lái)執(zhí)行。

以前碰到的問(wèn)題是如何有效地管理存儲(chǔ)系統(tǒng)。我記得以前銷售傳統(tǒng)存儲(chǔ)給其他供應(yīng)商，有三個(gè)不同的存儲(chǔ)，客戶說(shuō)我應(yīng)該用哪一個(gè)，為什么有這么多選擇？雖然有這么多工具，為什么要用不同的存儲(chǔ)器管理我們的應(yīng)用？以前的存儲(chǔ)非常特點(diǎn)，并不想去更多地接觸它，會(huì)擔(dān)心，只是讓存儲(chǔ)器做自己的工作，而不會(huì)過(guò)多地關(guān)注它。現(xiàn)在存儲(chǔ)不一樣的，從Ceph角度有很多方式去管理，可以去管理Ceph的集群，可以使用CLI、API，可以用云管理的平臺(tái)，也可以使用網(wǎng)絡(luò)方式，其實(shí)有兩種方式：一個(gè)是用蘋果方式，它是一個(gè)非常好的網(wǎng)絡(luò)界面，所帶來(lái)的價(jià)值是能夠簡(jiǎn)單管理，便易地部署。

我們紅帽有一個(gè)紅帽存儲(chǔ)控制臺(tái)，叫Storage  Console2，可以用來(lái)部署、監(jiān)督、管理等等。還有其他領(lǐng)域，Ceph也有很大優(yōu)勢(shì)，一個(gè)是對(duì)象云。在云的環(huán)境中作為一個(gè)單一的對(duì)象，亞馬遜使用比較多，傳統(tǒng)供應(yīng)商會(huì)用S3，還有Swift，和S3非常接近，在開(kāi)源里可以開(kāi)發(fā)自己的應(yīng)用。

這里看一下行業(yè)到底是什么情況。這兩個(gè)會(huì)并存一段時(shí)間，我們不相信只有一個(gè)。紅帽可以實(shí)現(xiàn)S3，也可以使用Swift，可以選擇兩種不同的方式。

還有一個(gè)，當(dāng)我在部署一個(gè)對(duì)象時(shí)，希望能夠提供許可訪問(wèn)給一些用戶，不管是讀還是寫。其他的用戶可以去讀這些對(duì)象，讓其他的用戶沒(méi)有辦法使用。以前，我們只能使用Openstack  Keystone，我們?cè)黾恿诉@個(gè)功能，可以讓客戶使用。因此即使你有很多的靈活性，有服務(wù)，進(jìn)行控制，我們也提升了匹配性，S3、swift提供了更好的匹配性，亞馬遜使用S3有更多的匹配性。我們?cè)诿髂暝缙跁?huì)提供更多的支持，開(kāi)始的時(shí)候會(huì)有S3的應(yīng)用，可以輸數(shù)據(jù)，還有網(wǎng)絡(luò)應(yīng)用作為一個(gè)對(duì)象來(lái)應(yīng)用，未來(lái)會(huì)有更加靈活、通用的界面進(jìn)行備份，進(jìn)行存取控制。傳統(tǒng)上UP  store可以進(jìn)行內(nèi)容上的效率，這是使用Up  store能夠帶來(lái)的優(yōu)勢(shì)。

大多數(shù)的客戶、大多數(shù)的企業(yè)不光是一個(gè)單站點(diǎn)的數(shù)據(jù)中心，會(huì)有多個(gè)站點(diǎn)，有各種各樣不同的需求。在紅帽存儲(chǔ)需求里，加入了多站點(diǎn)的對(duì)象接口，現(xiàn)在客戶可以使用存儲(chǔ)系統(tǒng)，在兩個(gè)站點(diǎn)進(jìn)行使用。比如有兩個(gè)數(shù)據(jù)中心，一個(gè)中國(guó)北方，一個(gè)在中國(guó)南方，有紅帽Ceph  store2，在任何地點(diǎn)可以度曲、分析這個(gè)數(shù)據(jù)，而且兩個(gè)中心可進(jìn)行復(fù)制，不管是從可性性和災(zāi)難復(fù)備及我們的恢復(fù)力方面都是比較強(qiáng)的移動(dòng)手機(jī)公司，你可能是一個(gè)航空公司，你想要用這些數(shù)據(jù)，你想快速使用這些數(shù)據(jù)，那么比調(diào)用本地更快，這是我們這方面的大提升。同時(shí)從快的角度來(lái)說(shuō)，進(jìn)項(xiàng)或者復(fù)制，以前我們需要的都是手動(dòng)來(lái)做，但現(xiàn)在自動(dòng)化了，大多數(shù)的傳統(tǒng)存儲(chǔ)系統(tǒng)要付很多錢進(jìn)行存儲(chǔ)，同時(shí)受到距離影響。因?yàn)镃eph用網(wǎng)絡(luò)沒(méi)有距離。比如在中國(guó)，你可以把數(shù)據(jù)發(fā)到另外一個(gè)國(guó)家，進(jìn)項(xiàng)都可以直接進(jìn)行交流。我們不希望從你使用的功能而收費(fèi)，如果你想要做什么，我們會(huì)把這些功能都給你。

現(xiàn)在比較大的區(qū)別，比如紅帽Ceph的存儲(chǔ)和傳統(tǒng)的存儲(chǔ)公司相比，大多數(shù)比較熟悉傳統(tǒng)存儲(chǔ)公司，他們的工作方式是向上擴(kuò)展，存儲(chǔ)的數(shù)據(jù)越多，速度就越慢。但你要了解它的工作方式，就了解到它的的瑕疵，和了解到紅帽的存儲(chǔ)和其他的存儲(chǔ)，存儲(chǔ)的數(shù)據(jù)更多，速度更加快，這是完全不同的方式。傳統(tǒng)存儲(chǔ)方式是有限容量，不同模式有不同的量。但在某一個(gè)節(jié)點(diǎn)上有一個(gè)大盒子，沒(méi)有辦法變得再大了，因?yàn)镃eph架構(gòu)可以不斷地?cái)U(kuò)展，擴(kuò)展到我想要用的容量，而且變得越來(lái)越大，可以滿足我的需求。

擴(kuò)展性、容量，因?yàn)槲覀兘鉀Q了內(nèi)容，隨著不斷擴(kuò)展，性能變得越來(lái)越好，這是非常酷的事情。

還有開(kāi)源及其他很多事情，很多中國(guó)的Ceph用戶對(duì)Ceph做了很大貢獻(xiàn)，我看到他們的價(jià)值所在，我覺(jué)得這是能夠幫我們解決傳統(tǒng)當(dāng)中的很多問(wèn)題。所以這個(gè)產(chǎn)品是一種合作式的，是開(kāi)放式的，可以邀請(qǐng)每一個(gè)人來(lái)參與。

通常通常問(wèn)我這個(gè)問(wèn)題，到底使用Ceph的用戶有哪些？——在金融服務(wù)里、建設(shè)機(jī)構(gòu)里，他們是我們非常多的客戶。另外是研究方面。還有電視臺(tái)、云服務(wù)提供商，還有很多政府，這取決于他們到底想使用哪一類型的服務(wù)。

最后澳大利亞有一個(gè)非常大的大學(xué)，使用的500PB的應(yīng)用，這是澳大利亞最大的一個(gè)大學(xué)之一，莫納什大學(xué)，是亞太南區(qū)比較大的學(xué)校，我們感覺(jué)自豪，可以使用Ceph做出這么大的貢獻(xiàn)、取得這么大的成就，有75%的節(jié)省，比起傳統(tǒng)而言，非常強(qiáng)大。他們現(xiàn)在還希望能夠加入5個(gè)PB，所以能夠做很多事情。感謝大家。