數(shù)據(jù)中心建設方案（二）

　　根據(jù)以上新一代數(shù)據(jù)中心網(wǎng)絡的技術要求，必須對傳統(tǒng)數(shù)據(jù)中心所使用的常規(guī)以太網(wǎng)技術進行革新，數(shù)據(jù)中心級以太網(wǎng)(Data Center Ethernet，簡稱DCE)技術由此誕生。

　　DCE之前也被一些廠商稱為匯聚型增強以太網(wǎng)技術(Converged Enhanced Ethernet，簡稱CEE)，是兼容傳統(tǒng)以太網(wǎng)協(xié)議并按新一代數(shù)據(jù)中心的傳輸要求，對其進行全面革新的一系列標準和技術的總稱。因此，為達到的新一代數(shù)據(jù)中心的建設目標，必須摒棄傳統(tǒng)以太網(wǎng)技術，而采用新一代的DCE(CEE)技術進行組網(wǎng)。

　　具體而言，本次數(shù)據(jù)中心所采用的DCE技術，可以達到以下的技術目標。

　　1.1 整合能力

　　1.1.1 一體化交換技術

　　DCE技術的重要目標是實現(xiàn)傳統(tǒng)數(shù)據(jù)中心最大程度的資源整合，從而實現(xiàn)面向服務的數(shù)據(jù)中心SODC的最終目標。在傳統(tǒng)數(shù)據(jù)中心中存在三種網(wǎng)絡：使用光纖存儲交換機的存儲交換網(wǎng)絡(Fiber Channel SAN)，便于實現(xiàn)CPU、內存資源并行化處理的高性能計算網(wǎng)絡(多采用高帶寬低延遲的InfiniBand技術)，以及傳統(tǒng)的數(shù)據(jù)局域網(wǎng)。DCE技術將這三種網(wǎng)絡實現(xiàn)在統(tǒng)一的傳輸平臺上，即DCE將使用一種交換技術同時實現(xiàn)遠程存儲、遠程并行計算處理和傳統(tǒng)數(shù)據(jù)網(wǎng)絡功能。這樣才能最大化的實現(xiàn)三種資源的整合，從而便于實現(xiàn)跨平臺的資源調度和虛擬化服務，提高投資的有效性，同時還降低了管理成本。

　　業(yè)務的特點不需要超級計算功能，因此本次項目要實現(xiàn)存儲網(wǎng)絡和傳統(tǒng)數(shù)據(jù)網(wǎng)絡的雙網(wǎng)合一，使用DCE技術實現(xiàn)二者的一體化交換。當前在以太網(wǎng)上融合傳統(tǒng)局域網(wǎng)和存儲網(wǎng)絡唯一成熟技術標準是Fiber Channel Over Ethernet技術(FCoE)，它已在標準上給出了如何把存儲網(wǎng)(SAN)的數(shù)據(jù)幀封裝在以太網(wǎng)幀內進行轉發(fā)的相關技術協(xié)議。由于該項技術的簡單性、高效率、經(jīng)濟性，目前已經(jīng)形成相對成熟的包括存儲廠商、網(wǎng)絡設備廠商、主機廠商、網(wǎng)卡廠商的生態(tài)鏈。具體的協(xié)議發(fā)布可參見 FCoE 的相關Web Sites。 (http://www.fcoe.com http://www.t11.org/fcoe )

　　本次數(shù)據(jù)中心建設將做好FCoE的基礎設施準備，并將在下一階段完成基于FCoE技術的雙網(wǎng)融合。

　　1.1.2 無丟棄以太網(wǎng)技術

　　為保證一體化交換的實現(xiàn)，DCE改變了傳統(tǒng)以太網(wǎng)無連接、無保障的Best Effort傳輸行為，即保證主機在通過以太網(wǎng)進行磁盤讀寫等操作、高性能計算所要求的遠程內存訪問、并行處理等操作，不會發(fā)生任何不可預料的傳輸失敗，達到真正的“無丟包”以太網(wǎng)目標。DCE在網(wǎng)絡中以硬件及軟件的形式實現(xiàn)了以下技術：

 

基于優(yōu)先級類別的流控(Priority Flow Control)	通過基于IEEE 802.1p類別通道的PAUSE功能來提供基于數(shù)據(jù)流類別的流量控制
帶寬管理	IEEE 802.1Qaz 標準定義基于IEEE 802.1p 流量類別的帶寬管理以及這些流量的優(yōu)先級別定義
擁塞管理	IEEE 802.1Qau 標準定義如何管理網(wǎng)絡中的擁塞(BCN/QCN)

　　l 基于優(yōu)先級類別的流控在DCE 的理念中是非常重要的一環(huán)，通過它和擁塞管理的相互合作，我們可以構造出“不丟包的以太網(wǎng)”架構;這對今天的我們來說，它的誘惑無疑是不可阻擋的。不丟包的以太網(wǎng)絡提供一個安全的平臺，它讓我們把一些以前無法安心放置到數(shù)據(jù)網(wǎng)絡上的重要應用能安心的應用到這個DCE的數(shù)據(jù)平臺。

　　l 帶寬管理在以太網(wǎng)絡中提供類似于類似幀中繼(Frame Relay)的帶寬控制能力，它可以確保一些重要的業(yè)務應用能獲得必須的網(wǎng)絡帶寬;同時保證網(wǎng)絡鏈路帶寬利用的最大化。

　　l 擁塞管理可以提供在以太網(wǎng)絡中的各種擁塞發(fā)現(xiàn)和定位能力，這在非連接的網(wǎng)絡中無疑是一個巨大的挑戰(zhàn);可以說在目前的所有非連接的網(wǎng)絡中，這是一個嶄新的應用;目前的研究方向主要集中在后向擁塞管理(BCN)和量化擁塞管理(QCN)這兩個方面。

　　1.1.3 性能支撐能力

　　為保證實現(xiàn)一體化交換和資源整合，DCE還必須對傳統(tǒng)以太網(wǎng)的性能和可擴展性的進行革新。

　　首先為保證三網(wǎng)合一后的帶寬資源，萬兆以太網(wǎng)技術只是DCE核心層帶寬的起點。而正在發(fā)展中的40G/100G以太網(wǎng)才是DCE技術將來的主流帶寬。因此，要保證我們今天采購的設備能有5年以上的生命周期，就必須考慮硬件的可擴展能力。這也就是說從投資保護和工程維護的角度出發(fā)，我們需要一個100G平臺的硬體設備，即每個設備的槽位至少要支持100G的流量(全雙工每槽位200Gbps)，只有這樣才能維持該設備5年的生命周期。同時從經(jīng)濟性的角度來考慮，如果能達到400G的平臺是最理想的。

　　另外存儲網(wǎng)絡和高性能計算所要求的通過網(wǎng)絡實現(xiàn)的遠程磁盤讀寫、內存同步的性能需求，DCE設備必須提供比傳統(tǒng)以太網(wǎng)設備低幾個數(shù)量級的端口間轉發(fā)延遲。DCE要求的核心層的三層轉發(fā)延遲應可達到30us以下，接入層的二層轉發(fā)延遲應可在3～4us以下。這都是傳統(tǒng)以太網(wǎng)技術無法實現(xiàn)的性能指標要求。

　　1.1.4 智能服務的整合能力

　　眾所周知，應用的復雜度是在不斷的提升，同時伴隨著網(wǎng)絡的融合，應用對網(wǎng)絡的交互…可以預見的是網(wǎng)絡的復雜度也將不斷的提升。這也印證我們的判斷：應用對網(wǎng)絡的控制將逐步增強，網(wǎng)絡同時也在為應用而優(yōu)化。

　　因此構建一個單業(yè)務的簡單L2轉發(fā)網(wǎng)絡并不是網(wǎng)絡設備的設計方向;全業(yè)務的設備和多業(yè)務融合的網(wǎng)絡才是我們所需要的環(huán)境。

　　那么我們需要什么樣的全業(yè)務呢，很明顯Data Center Ethernet 是一個必備的項目，同時我們至少還需要其它的基本業(yè)務屬性來保障一個多業(yè)務網(wǎng)絡的運行，如：

　　l 服務質量保證 QoS

　　l 訪問列表控制 ACL

　　l 虛擬交換機的實現(xiàn) Virtual Switch

　　l 網(wǎng)絡流量分析 Netflow

　　l CPU抗攻擊保護 CoPP

　　l 遠程無人值守管理 CMP

　　l 嵌入式事件管理 EEM

　　當然，所有這些業(yè)務的實現(xiàn)都是在不影響轉發(fā)性能的前提條件下的。失去這個大前提，多業(yè)務的實現(xiàn)就變得毫無意義。

　　所以設計一個好的產(chǎn)品就必須顧全多業(yè)務、融合網(wǎng)絡這個大前提。如何使這些復雜的業(yè)務處理能夠在高達100G甚至是400G的線路卡上獲得線速處理的性能是考驗一個硬件平臺的重要技術指標。

　　最終的勝出者無疑就是能夠用最小的代價來換取最大業(yè)務實現(xiàn)和性能的設備平臺。

　　1.2 虛擬化能力

　　DCE對網(wǎng)絡虛擬化不僅僅是傳統(tǒng)意義上的VLAN和VPN，為實現(xiàn)SODC的交互服務層資源調度方式，DCE還能夠做到以下的虛擬化能力。

　　1.2.1 虛擬交換技術

　　虛擬交換技術可以實現(xiàn)當我們使用交換機資源時，我們可以不用關心交換服務的物理存在方式，它可能是由一臺交換機提供，也可能是兩臺交換機設備，甚至可以是一個交換機中的幾個虛擬交換機之一。思科的DCE技術就提供了將兩個物理交換機虛擬為一臺交換機的虛擬交換系統(tǒng)(VSS)技術，以及將一個交換機虛擬化為多個交換機的虛擬設備(VDC)技術。

　　(一)虛擬交換系統(tǒng)(VSS)

　　VSS技術可將網(wǎng)絡的雙核心虛擬化為單臺設備，比如使用的Cisco 6509的9插槽設備將完全被虛擬化成為單臺18槽機箱的虛擬交換機。虛擬交換機性能倍增、管理復雜度反而減半。具體有如下優(yōu)勢：

　　l 單一管理界面：管理界面完全為單臺設備管理方式，管理和維護工作量減輕一半;

　　l 性能翻倍：虛擬交換系統(tǒng)具備兩臺疊加的性能，與其它交換機通過跨物理機箱的雙千兆以太網(wǎng)或雙萬兆以太網(wǎng)捆綁技術，遠比依靠路由或生成樹的負載均衡更均勻，帶寬和核心吞吐量均做到真正的翻倍。

　　l 協(xié)議簡單：虛擬交換系統(tǒng)與其它設備間的動態(tài)路由協(xié)議完全是單臺設備與其它設備的協(xié)議關系，需維護的路由鄰居關系數(shù)以二次方根下降，在本系統(tǒng)中可達4～5倍下降，工作量和部署難度大大降低;虛擬交換系統(tǒng)同時作為單臺設備參與生成樹計算關系，生成樹計算和維護量以二次方根下降，在本系統(tǒng)中可達4～5倍下降，工作量和部署難度大大降低。

　　l 冗余可靠：虛擬交換系統(tǒng)形成虛擬單機箱、物理雙引擎的跨機箱冗余引擎系統(tǒng)，下連接入交換機原來需要用動態(tài)路由或生成樹實現(xiàn)冗余切換的，在VSS下全都可以用簡單的鏈路捆綁實現(xiàn)負載均衡和冗余，無論是鏈路還是引擎，冗余切換比傳統(tǒng)方式更加迅捷平滑，保持上層業(yè)務穩(wěn)定運行。以前兩個單引擎機箱的其中一臺更換引擎，一定會導致數(shù)據(jù)的丟失，而虛擬交換系統(tǒng)里任意一臺更換引擎，數(shù)據(jù)可以保證0丟失。

　　(二)虛擬設備系統(tǒng)(VDC)

　　VDC技術則可以實現(xiàn)將一臺交換機劃分為多個虛擬的子交換機，每個交換機擁有獨立的配置界面，獨立的生成樹、路由、SNMP、VRRP等協(xié)議進程，甚至獨立的資源分配(內存、TCAM、轉發(fā)表等等)。它與VSS配合，將在實現(xiàn)更加靈活的、與物理設備無關的跨平臺資源分配能力，為數(shù)據(jù)中心這種底層設施資源消耗型網(wǎng)絡提供更經(jīng)濟高效的組網(wǎng)方式，也為管理和運營智能化自動化創(chuàng)造條件。

　　物理設備虛擬成若干個邏輯上的獨立設備的圖示：

　　1.2.2 網(wǎng)絡服務虛擬化

　　在服務資源整合以及設備虛擬化的基礎之上，DCE要求每個虛擬化的網(wǎng)絡應用區(qū)都有自己的業(yè)務服務設施，比如自己的防火墻、IDS、負載均衡器、SSL加速、……網(wǎng)絡服務，這些如果都是物理上獨占式分配的，將是高成本、低效率且難于維護管理的。DCE網(wǎng)絡在提供這些網(wǎng)絡智能服務時都可以以虛擬化的方式實現(xiàn)各類服務的資源調用，思科的DCE網(wǎng)絡中就可以實現(xiàn)虛擬防火墻、虛擬IDS、虛擬負載均衡器、虛擬SSL VPN網(wǎng)絡……等等，從而實現(xiàn)網(wǎng)絡智能服務的虛擬化。

　　1.2.3 服務器虛擬化

　　服務器虛擬化可以使上層業(yè)務應用僅僅根據(jù)自己所需的計算資源占用要求來對CPU、內存、I/O和應用資源等實現(xiàn)自由調度，而無須考慮該應用所在的物理關聯(lián)和位置。當前商用化最為成功的服務器虛擬化解決方案是VMWare的VMotion系列，微軟的Virtual Server和許多其它第三方廠商(如Intel、AMD等)也正在加入，使得服務器虛擬化的解決方案將越來越完善和普及。

　　然而人們越來越意識到服務器虛擬化的系統(tǒng)解決方案中除了應用、主機、操作系統(tǒng)的角色外，網(wǎng)絡將是一個更為至關重要的角色。網(wǎng)絡將把各個自由聯(lián)系成為一個整體，網(wǎng)絡將是實現(xiàn)自由虛擬化的橋梁。服務器虛擬化需要DCE能夠提供以下能力：

　　l 資源的整合：業(yè)務應用運行所依賴的物理計算環(huán)境都需要網(wǎng)絡實現(xiàn)連接，然而在傳統(tǒng)網(wǎng)絡中，傳輸數(shù)據(jù)的數(shù)據(jù)網(wǎng)、互連CPU和內存的計算網(wǎng)、互連存儲的存儲網(wǎng)都是孤立的，這就無法真正實現(xiàn)與物理無關的服務器資源調度，因此實現(xiàn)真正意義上徹底的服務器虛擬化，前面提到的DCE三網(wǎng)一體化交換架構是必須的條件。

　　l 網(wǎng)絡的虛擬機意識：傳統(tǒng)網(wǎng)絡是不具備虛擬機意識的，即在網(wǎng)絡上傳遞的信息是無法區(qū)別它是來自于哪個虛擬機，也無法在網(wǎng)絡上根據(jù)虛擬機來提供相應的網(wǎng)絡服務，當虛擬機遷移，也沒有相應的網(wǎng)絡跟蹤手段保證服務的全局一致性。不過這些都是DCE正在解決的問題，一些DCE的領導廠商，比如思科，已經(jīng)在推出的商用化DCE產(chǎn)品中提供了相應的虛擬機標識機制，并且思科已經(jīng)聯(lián)合VMware等廠商將這些協(xié)議提交IEEE實現(xiàn)標準化。

　　l 虛擬機遷移的網(wǎng)絡環(huán)境：服務器虛擬化是依靠虛擬機的遷移技術實現(xiàn)與物理資源無關的資源共享和復用的。虛擬機遷移需要一個二層環(huán)境，這導致遷移范圍被局限在傳統(tǒng)的VLAN內。我們知道Web2.0、云計算等概念都需要無處不在的數(shù)據(jù)中心，那么如何實現(xiàn)二層網(wǎng)絡的跨地域延展呢?傳統(tǒng)的L2 MPLS技術太復雜，于是IEEE和IETF正在制定二層多路徑(即二層延展)的新標準，DCE的領導廠商思科公司也提出了一種新的協(xié)議標準Cisco Over the Top Virtualization(OTV)來解決跨城域或廣域網(wǎng)的二層延展性問題，從而為服務器虛擬化提供可擴展的網(wǎng)絡支撐。

　　1.3 自動化

　　自動化是SODC架構中上層自動優(yōu)化的實現(xiàn)服務調用必須條件。在高度整合化和虛擬化的基礎上，服務的部署完全不需要物理上的動作，資源在虛擬化平臺上可以與物理設施無關的進行分配和整合，這樣我們只需要將一定的業(yè)務策略輸入給智能網(wǎng)絡的策略服務器，一切的工作都可以按系統(tǒng)自身最優(yōu)化的方式進行計算、評估、決策和調配實現(xiàn)?，F(xiàn)在商用的DCE自動化解決方案包括管理自動化和業(yè)務部署自動化。

　　數(shù)據(jù)中心將在后續(xù)的建設中逐步完善自動化管理和自動化業(yè)務部署，但需要在本期通過DCE技術的實施打下未來自動化部署的堅實基礎。

　　1.4 綠色數(shù)據(jù)中心

　　DCE技術的整合化、虛擬化和自動化本身就是在達到同樣業(yè)務能力的要求下實現(xiàn)高效率利用硬件資源、減少總硬件投入、節(jié)約維護管理成本等方面的最佳途徑，這本身也是綠色數(shù)據(jù)中心的必要條件。

　　另外DCE產(chǎn)品必須在硬件實現(xiàn)上實現(xiàn)低功耗、高效率，包括

　　l 利用最新半導體工藝 (越小納米的芯片要比大納米的芯片省電)

　　l 降低邏輯電路的復雜度 (在接入層使用二層設備往往要比三層設備省電)

　　l 減少通用集成電路的空轉 (使用定制化的專業(yè)設計的芯片往往比通用芯片省電)

　　l 等等……

　　由此可見，對于一臺網(wǎng)絡設備，在業(yè)務能力相當?shù)那疤釛l件下，越小的功耗就代表越先進的技術。在DCE設備一般可以做到維持三層的全業(yè)務萬兆吞吐功耗小于25W、二層的萬兆吞吐功耗小于13W。

　　綜上所述，在本次新一代數(shù)據(jù)中心網(wǎng)絡的建設中，將采用不同于傳統(tǒng)以太網(wǎng)技術的DCE以太網(wǎng)技術，構建面向服務的高效能數(shù)據(jù)中心網(wǎng)絡平臺。