200Gvs400G：誰是數(shù)據中心網絡下一站？

  ICC訊 互聯(lián)網聯(lián)接全球 40 億多用戶，支撐著VR/AR、16K視頻、自動駕駛、人工智能、5G、物聯(lián)網等層出不窮的數(shù)字化應用。教育、醫(yī)療、辦公等用戶線上與線下的結合，正在影響和改變人們生活的方方面面。

  數(shù)據中心網絡，作為互聯(lián)網業(yè)務賴以生存和發(fā)展的基礎設施，早已從最初的千兆、萬兆網絡，走到了“25G接入+100G互聯(lián)”規(guī)模部署的階段。

  100G互聯(lián)：全盒架構被大型互聯(lián)網企業(yè)看重

  “25G接入+100G互聯(lián)”的架構下，數(shù)據中心網絡通過三級組網實現(xiàn)大規(guī)模接入，單集群服務器規(guī)?？梢猿^10萬臺。

  如下圖所示，基于T1和T2層的Pod可以像樂高積木一樣靈活擴展，按需建設。

  圖1：右側引用自 https://techblog.comsoc.org/2019/03/18/facebooks-f16-achieves-400g-effective-intra-dc-speeds-using-100ge-fabric-switches-and-100g-optics-other-hyperscalers/

  隨著大容量轉發(fā)芯片的能力提升以及100G光互聯(lián)成本的降低，市場上出現(xiàn)了單芯片交換機設備構建100G互聯(lián)的全盒式設備組網方案。這種單芯片多平面的互聯(lián)方案，以12.8T芯片為典型代表，單芯片可提供128x100G的端口密度，單個POD可提供2000臺服務器的接入能力。

  圖2：典型128口100GE高密盒式交換機

  全盒式設備組網方案，相對傳統(tǒng)框盒設備方案，雖然網絡節(jié)點數(shù)量和設備間的光互聯(lián)模塊數(shù)量有所增加，帶來了運維工作量的增長，但因引入了高性能轉發(fā)芯片，有效降低了數(shù)據中心網絡端口的單比特成本，對大型互聯(lián)網企業(yè)吸引力很強。大型互聯(lián)網企業(yè)一方面快速引入100G全盒架構，以降低網絡建設成本，另一方面基于自身較強的研發(fā)能力，提升網絡自動化部署和維護水平來應對運維工作量增長挑戰(zhàn)。

  因此，大型互聯(lián)網企業(yè)對于100G網絡方案思路趨同，全盒設備組網成為100GE網絡架構演進的基座。

  網絡提速成為必然，誰會是下一站?

  25G接入+100G互聯(lián)網絡方案促成芯片選型的統(tǒng)一和快速上量，充分說明了技術紅利驅動了IDC網絡架構的快速演進。隨著單芯片網絡產品的推出，100G代際的技術紅利也已經得到了完全的獲取。

  在當前業(yè)務持續(xù)快速發(fā)展的背景下，帶寬升級成為必然。一個選擇題擺到了企業(yè)面前：選200G還是400G?

  網絡從來都不是孤立的存在，產業(yè)的環(huán)境是決定技術是否能夠成長、成熟的大土壤。

  我們先從網絡標準、服務器和光模塊三方面審視下200G和400G的產業(yè)現(xiàn)狀。

  200G vs 400G標準：協(xié)議標準均已成熟

  在IEEE 協(xié)議標準演進過程中，200G標準啟動晚于400G標準。

  IEEE 802.3以太網工作組(Working Group)在完成BWA I(Bandwidth Assessment I)項目調研后，于2013年立項制定400G標準。2015年，為了進一步擴展市場范圍納入50G服務器和200G交換機規(guī)格，IEEE成立802.3cd項目，啟動制定200G標準。

  因200G與400G規(guī)格具備相關性， 200G單模規(guī)格最終納入了802.3bs項目。屆時，400G已經基本完成PCS、PMA、PMD的主要設計，200G單模規(guī)格總體上是基于400G單模規(guī)格減半制定。

  2017年12月6日，IEEE 802最終批準IEEE 802.3bs 400G以太標準規(guī)范，包含400G以太和200G以太單模，標準正式發(fā)布。IEEE 802.3cd 定義了200G以太多模的標準，于2018年12月正式發(fā)布。

  圖3：IEEE 802.3bs 400GE 標準關鍵里程碑，引自http://www.ieee802.org/3/bs/timeline_3bs_0915.pdf

  如下表所見，400G已實現(xiàn)全場景的標準支持，包括100m、500m、2km和長距80km。

  50G vs 100G服務器：100G服務器將會成為主流

  圖4：分析師機構對網卡和服務器的發(fā)貨趨勢預測

  根據分析師機構CREHAN的預測，截止2019年，50G和100G網卡都已經啟動發(fā)貨。25G網卡的下一代升級選擇上，整個產業(yè)在2018和2019年存在著搖擺。2019年50G和100G服務器發(fā)貨量產生了逆轉，但2020年后100G服務器的勢頭全面超越了50G服務器，產業(yè)又開始對100G服務器充滿信心。

  從CPU芯片來看，兩家主流廠商I廠和A廠都陸續(xù)推出了新的產品路標。I廠支持PCIe 4.0的芯片將于2020年Q3推出，主流I/O達到50G，高端應用時IO達到100G/200G。兩家巨頭預計將在2021年H1分別推出支持PCIe5.0的芯片，再次將主流I/O提高到100G，高端應用時IO可達到400G【1】。

  因此，CPU芯片節(jié)奏和服務器發(fā)貨預測均顯示出50G曇花一現(xiàn)，100G服務器正快速成為主流。

  200G vs 400G光模塊：400G成本更優(yōu)，產業(yè)更成熟

  數(shù)據中心接入服務器從25G向100G演進，那么當前的100G互聯(lián)網絡應該選擇200G還是400G呢?

  從上表可以看出，當數(shù)據中心從10G服務器演進到25G，網絡互聯(lián)從40G升級到100G，網絡帶寬增長一倍，但互聯(lián)成本、功耗卻保持不變，即Gbit互聯(lián)成本與功耗下降一半。所以100GE取代40GE成為25GE時代的主流網絡互聯(lián)方案。

  200GE和400GE光模塊與以往有點不同。傳統(tǒng)光模塊采用NRZ(Non-Return-to-Zero)的信號傳輸技術，采用高、低兩種信號電平表示數(shù)字邏輯信號的0、1，每個時鐘周期可以傳輸1bit的邏輯信息。而200G和400G光模塊皆采用了高階調制技術——PAM4(Pulse Amplitude Modulation 4四階脈沖幅度調制)。PAM4信號采用4個不同的信號電平進行信號傳輸，每個時鐘周期可以傳輸2bit的邏輯信息，即00、01、10、11。

  因此，在同樣波特率條件下，PAM4信號比特速率是NRZ信號的2倍，傳輸效率提高一倍，有效降低Gbit成本。從光模塊構成看，200G和400G模塊都是采用4-lane的主流架構，所以模塊設計成本、功耗趨同。

  因為400G模塊的帶寬是200G的兩倍，所以Gbit成本和功耗是200G的一半。

  另一方面，模塊成本除了架構設計，也取決于規(guī)模上量的規(guī)模。根據第三方咨詢公司Omdia (原OVUM)的發(fā)貨數(shù)據， 對TOP8供應商當前在200G、400G模塊的布局梳理如下。

  如上圖所示，200G的模塊種類只有100m SR4和2km FR4兩種，其中100m SR4只有兩家供應商。反觀400G的模塊種類達到了5種，TOP8廠商皆對100m、500m和2km模塊進行了布局。400G的產業(yè)成熟度遠勝于200G，客戶的選擇也更為豐富。

  這一分析結果也進一步說明了由于PAM4技術的引入，存在成本和功耗的技術代價。對在成本、功耗敏感的數(shù)據中心網絡領域，產業(yè)迫切期望跨過200G邁入400G來吸納這個代價。采用同樣技術和成本構成的400G在演進方面更具競爭力。

  小結：400G接檔勢頭明顯，200G一代或將跳過

  數(shù)據中心網絡是服務于業(yè)務的存在。從業(yè)務驅動上看，高速增長的數(shù)字化建設將推動100G服務器在2020年快速起量，并成為主流。從成本上看，由于數(shù)據中心光器件成本占整個數(shù)據中心網絡設備成本的一半以上，由于PAM4技術的引入，400G光器件單Bit成本比200G光模塊更具優(yōu)勢，光模塊部署成本將直接帶動整個整體建網成本的下降。

  從總體上看，400G接檔勢頭明顯，200G代際或成為臨時過渡或被直接跳過。