PCIe3.0光纜設(shè)計(jì):光通訊模塊搭配控制器

訊石光通訊網(wǎng) 2014/1/9 14:57:29

  光通訊模塊、控制器搭配得宜 PCIe 3.0光纖纜線設(shè)計(jì)達(dá)陣

  文/Christopher Wong

  對(duì)PCIe Express 3.0(PCIe Gen3)機(jī)箱間的連接應(yīng)用來(lái)說(shuō),光纖技術(shù)可提供優(yōu)于同軸電纜的更佳替代選擇。

  雖然串行解串行器(SerDes)轉(zhuǎn)換技術(shù)原本的設(shè)計(jì)是在個(gè)人計(jì)算機(jī)(PC)主板上承載PCIe Gen1/Gen2總線訊號(hào),但也可簡(jiǎn)單應(yīng)用到同軸電纜上做為數(shù)據(jù)中心與服務(wù)器機(jī)箱間的互連接口。不過(guò),銅纜的通道特性將會(huì)因PCIe Gen3更高信道頻率而大幅度劣化,因此長(zhǎng)距離的銅線互連技術(shù)將面臨無(wú)法滿(mǎn)足導(dǎo)入8Gbit/s PCIe Gen3技術(shù)產(chǎn)品對(duì)成本、效能、尺寸與重量的要求。

  光纖技術(shù)為高信道數(shù)PCIe Gen3接口提供非常具有吸引力的替代方案,例如大幅延長(zhǎng)的聯(lián)機(jī)距離、更小的尺寸、更輕的重量、更低的功耗、更高的效能,以及更具競(jìng)爭(zhēng)力的成本。雖然采用光纖的PCIe Gen3互連標(biāo)準(zhǔn)尚在初期制訂階段,但市面上已有做為過(guò)渡方案的產(chǎn)品。

  本文將介紹PCIe Gen3電氣標(biāo)準(zhǔn),以及將目前商用光纖技術(shù)應(yīng)用到低成本PCIe Gen3的挑戰(zhàn),并將使用由PLX和安華高(Avago)共同開(kāi)發(fā)的解決方案探討PCIe Gen3光學(xué)聯(lián)機(jī)的效能、成本、模塊外型、尺寸,以及制造上面臨的問(wèn)題,并提出PCIe Gen3端對(duì)端光纖聯(lián)機(jī)的設(shè)計(jì)架構(gòu),描述光纖解決方案如何用來(lái)支持商業(yè)PCIe應(yīng)用的全64Gbit/s(雙向128Gbit/s)通訊容量。

  PCIe Gen3傳輸速率翻倍成長(zhǎng)

  PCIe總線是提供中央處理器(CPU)與相關(guān)周邊,如繪圖顯示適配器、內(nèi)存、磁盤(pán)驅(qū)動(dòng)器和外部輸入輸入(I/O)適配卡等連接的高速串行技術(shù),最初由英特爾(Intel)開(kāi)發(fā),目前已逐漸成為大部分桌面計(jì)算機(jī)、工作站及高階服務(wù)器的互連標(biāo)準(zhǔn),同時(shí)也逐漸在一些較大型系統(tǒng)中成為被動(dòng)式背板互連的技術(shù)。

  在物理層(PHY Layer)上,PCIe以?xún)蓚€(gè)端點(diǎn)設(shè)備間單一或多個(gè)點(diǎn)連接實(shí)現(xiàn),稱(chēng)為通道(Lane),每個(gè)通道都由兩個(gè)低電壓交流耦合差動(dòng)訊號(hào)對(duì)組成,形成兩個(gè)聯(lián)機(jī)端點(diǎn)設(shè)備間的高速全雙工比特流(Bitstream)。比特流中使用8b/10b編碼方法嵌入數(shù)據(jù)頻率達(dá)到超高數(shù)據(jù)傳輸率。為滿(mǎn)足更高的容量,PCIe信道可經(jīng)過(guò)組合形成二、四、八及三十二信道的多信道聯(lián)機(jī),并透過(guò)信道傳送封包數(shù)據(jù)。

  當(dāng)PCIe Gen1標(biāo)準(zhǔn)于2003年推出時(shí),每個(gè)通道的連接速度定義為2.5Gbit/s,所采用的8b/10b線路編碼法會(huì)降低有效容量20%;PCIe Gen2則將速度加倍為5Gbit/s, 帶來(lái)三十二通道的PCIe連接器支持,達(dá)到高達(dá)160Gbit/s的總比特率。圖1所示為PCIe Gen1與Gen2物理層功能分工。

  

圖1 PCIe Gen1與Gen2物理層功能分工(左)與方塊圖(右) 圖片來(lái)源:英特爾

  2010年底定的PCIe Gen3規(guī)格則再一次將信道容量加倍,并以稱(chēng)為“打散(Scrambling)”的技術(shù)取代Gen1與Gen2使用的8b/10b線路編碼方式,可降低信道負(fù)擔(dān)約1.5%。

  光纖延伸PCIe接口聯(lián)機(jī)距離

  由于PCIe技術(shù)的高頻訊號(hào)須額外利用阻抗受控信道,減低訊號(hào)噪聲,且聯(lián)機(jī)距離相對(duì)較短,因此比較適用于CPU與周邊位置接近的連接。

  先不論技術(shù)上的挑戰(zhàn),業(yè)界已對(duì)使用電子與光纖纜線延伸PCIe聯(lián)機(jī)到機(jī)箱間應(yīng)用具高度的興趣。服務(wù)器、交換機(jī)及儲(chǔ)存設(shè)備間透過(guò)PCIe連接時(shí),并不需中介傳輸通訊協(xié)議或是相關(guān)的電子零組件,除可降低系統(tǒng)延遲并提高傳輸效率外,使用PCIe還具降低整體系統(tǒng)復(fù)雜度、成本及耗電的優(yōu)點(diǎn)。

  為支持這些應(yīng)用,業(yè)界也制定外部PCIe(External PCI Express, ePCIe)規(guī)格,可將PCIe Gen1的2.5Gbit/s訊號(hào)傳輸延伸到數(shù)公尺長(zhǎng)的同軸電纜,目前已被應(yīng)用于包括儲(chǔ)存系統(tǒng)、高效能運(yùn)算計(jì)算機(jī),以及其他需要高容量、多機(jī)箱系統(tǒng)互連的產(chǎn)品,例如高階影音系統(tǒng)等。

  雖然更快的訊號(hào)會(huì)因更長(zhǎng)的纜線導(dǎo)致衰減、對(duì)參考頻率抖動(dòng)更為敏感,以及其他訊號(hào)完整性問(wèn)題限制,無(wú)法實(shí)現(xiàn)較長(zhǎng)的纜線距離,業(yè)界目前已針對(duì)ePCIe Gen2的纜線規(guī)格進(jìn)行解決方案的開(kāi)發(fā),而這些問(wèn)題在PCIe Gen3 8Gbit/s傳輸速率時(shí),將更加復(fù)雜,且需更昂貴的等化與時(shí)序解決方案。事實(shí)上,光纖是PCIe Gen3芯片與纜線業(yè)者研發(fā)產(chǎn)品時(shí),要使產(chǎn)品兼具較長(zhǎng)聯(lián)機(jī)距離與更高容量彈性設(shè)計(jì)較佳考慮,促使光纖成為延伸現(xiàn)有PCIe總線到多機(jī)箱互連的銅纜替代方案。

  值得注意的是,當(dāng)PCIe Gen3開(kāi)始量產(chǎn)時(shí),光纖纜線將比銅纜解決方案耗電更少且成本更低,這些特性使采用光纖的PCIe成為目前應(yīng)用于數(shù)據(jù)中心連接服務(wù)器、交換機(jī)及其他儲(chǔ)存設(shè)備其他傳輸接口的良好替代方案。在整個(gè)輸出輸入連接使用PCIe還可減少甚至免除通訊協(xié)議轉(zhuǎn)換芯片的需求,從而降低整體系統(tǒng)成本、功耗及避免通道延遲的問(wèn)題。

  光纖版PCIe Gen3過(guò)渡方案現(xiàn)身

  雖然PCIe-SIG發(fā)表使用光纖的PCIe Gen3標(biāo)準(zhǔn)還需幾年時(shí)間,但目前已有商用產(chǎn)品做為過(guò)渡方案,使用市面上可取得的PCIe Gen3組件及平行光收發(fā)器模塊,可大幅加速特定應(yīng)用光學(xué)互連產(chǎn)品的開(kāi)發(fā),滿(mǎn)足無(wú)法等待PCIe SIG提出Gen2/Gen3光纖規(guī)格的市場(chǎng)。

  由于PCIe的媒體訪問(wèn)控制(MAC)與PHY層的接口非常簡(jiǎn)單并擁有良好的文件說(shuō)明,因此可非常容易使用市面上現(xiàn)有的PCIe Gen3交換器,或其他端點(diǎn)組件推動(dòng)平行光收發(fā)器模塊,而非PCIe Gen3規(guī)格中定義的多信道電氣SerDes驅(qū)動(dòng)器。對(duì)PCIe Gen3最適合的高效能應(yīng)用,較保險(xiǎn)的做法是假設(shè)它們需要至少八個(gè)平行信道容量。

  多通道端點(diǎn)可使用目前市面上多個(gè)供貨商的產(chǎn)品實(shí)現(xiàn),包括平行光發(fā)射/接收模塊中的垂直腔表面發(fā)射雷射(Vertical Cavity Surface Emitting Laser, VCSEL)數(shù)組。采用VCSEL技術(shù)的平行光學(xué)模塊可支持多達(dá)十二個(gè)平行信道,每信道以8Gbit/s或更高速度運(yùn)作,并提供150公尺的纜線。

  為評(píng)估使用商用產(chǎn)品的可行性,本文建立一個(gè)概念驗(yàn)證展示系統(tǒng)(圖2),由內(nèi)含四十八通道PCIe Gen3交換器適配卡的主控計(jì)算機(jī)組成,交換器推動(dòng)十二信道10Gbit/s MiniPOD光學(xué)模塊,并使用八個(gè)光學(xué)信道,另四個(gè)則未使用。

  

圖2 概念驗(yàn)證光學(xué)PCIe聯(lián)機(jī)展示系統(tǒng)方塊圖

  光學(xué)PCIe聯(lián)機(jī)設(shè)計(jì)挑戰(zhàn)多

  本文架構(gòu)概念驗(yàn)證系統(tǒng)的一個(gè)主要理由是,提供使用商用零組件做為光學(xué)PCIe聯(lián)機(jī)應(yīng)用的可能性證明。此外,原型系統(tǒng)開(kāi)發(fā)與測(cè)試也會(huì)找出幾個(gè)必須解決的問(wèn)題,特別是在光學(xué)領(lǐng)域的PCIe通訊協(xié)議支持上,這些問(wèn)題包括:

  · 接收器偵測(cè)

  平行光收發(fā)器模塊并未提供由PCIe發(fā)射器用來(lái)偵測(cè)聯(lián)機(jī)存在的50奧姆(Ω)阻抗電氣界面。當(dāng)適當(dāng)?shù)呢?fù)載存在時(shí),發(fā)射器會(huì)觸發(fā),并以在組件接收端所偵測(cè)到的模式運(yùn)作,特別的是,它會(huì)做為開(kāi)始傳送一系列線路探查訊號(hào)的隊(duì)列,以便讓接收器計(jì)算并做為等化電路設(shè)定的參考,在使用標(biāo)準(zhǔn)PCIe MAC組件支持光學(xué)聯(lián)機(jī)的應(yīng)用中,發(fā)射器線路探查與等化功能必須被關(guān)閉。

  ·電氣待機(jī)模式

  PCIe電氣接口包含在無(wú)數(shù)據(jù)傳輸時(shí)將聯(lián)機(jī)變成節(jié)能待機(jī)(Electrical IDLE, EIDLE)模式的功能,不過(guò)采用光纖聯(lián)機(jī)時(shí)這個(gè)模式可能會(huì)造成問(wèn)題,原因是收發(fā)器較長(zhǎng)的暖機(jī)時(shí)間可能會(huì)產(chǎn)生線路跳動(dòng)或不適當(dāng)?shù)钠珘?,帶?lái)錯(cuò)誤的EIDLE偵測(cè)或跳離EIDLE狀態(tài)。

  ·頻率

  由于大部分光學(xué)PCIe聯(lián)機(jī)并不會(huì)在相同機(jī)架間有兩端點(diǎn)的連接,因此本文須假設(shè)它們不會(huì)使用相同的重置或系統(tǒng)頻率訊號(hào),在這些應(yīng)用及本篇文章提供的范例中,并無(wú)法在聯(lián)機(jī)上實(shí)現(xiàn)同步重置或頻率,因此端點(diǎn)必須能夠支持異步頻率運(yùn)作。

  · 遠(yuǎn)程重置

  在大部分應(yīng)用中,PCIe聯(lián)機(jī)的遠(yuǎn)程光學(xué)適配卡會(huì)在主系統(tǒng)前供電,因此遠(yuǎn)程電路卡在設(shè)計(jì)上須能在電源啟動(dòng)時(shí)進(jìn)行自動(dòng)重置程序,以便在主控端啟動(dòng)時(shí)能完全初始化并開(kāi)始進(jìn)行聯(lián)機(jī)。另一個(gè)做法是若操作系統(tǒng)能完全由用戶(hù)控制,那么系統(tǒng)就能以任何順序啟動(dòng),雖然這種方式并不常見(jiàn),但對(duì)客制化應(yīng)用軟件在系統(tǒng)中定時(shí)檢查聯(lián)機(jī)狀態(tài)非常需要,在這樣的組態(tài)下,在兩方系統(tǒng)確認(rèn)完成傳輸準(zhǔn)備后,操作系統(tǒng)便可啟動(dòng)標(biāo)準(zhǔn)的系統(tǒng)列舉與程序動(dòng)作。

  ·外部訊號(hào)

  目前針對(duì)同軸電纜定義的PCIe外部纜線規(guī)格,存在光學(xué)解決方案無(wú)法承載的額外訊號(hào),例如100MHz的纜線參考頻率(RefClk)并不需要,原因是頻率可由PCIe收發(fā)器的資料串流中取得。此外包括SB_RTN單端邊頻帶訊號(hào)的回返電氣訊號(hào)接腳、CPRSNT#安裝的纜線/下傳子系統(tǒng)上電、CPWRON上傳子系統(tǒng)電源穩(wěn)定通知、CWAKE#喚醒事件的電源管理訊號(hào),以及CPERST纜線PERST#纜線平臺(tái)重置等接腳,在使用光纖纜線時(shí)也無(wú)法使用。

  選擇支持八信道組態(tài)組件

  許多標(biāo)準(zhǔn)完成前的開(kāi)發(fā)動(dòng)作須實(shí)現(xiàn)商用產(chǎn)品尚未提供的功能,通常以使用現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)及離散組件達(dá)成。不過(guò)在PCIe Gen3的例子上,市場(chǎng)上已有實(shí)現(xiàn)概念驗(yàn)證系統(tǒng)所需功能的產(chǎn)品,雖然它們并沒(méi)有針對(duì)這類(lèi)特殊應(yīng)用優(yōu)化。

  選擇最適合的光學(xué)模塊予本文測(cè)試應(yīng)用范例,將包含幾個(gè)考慮,包括信道數(shù)量、外型規(guī)格及兼容性等。雖然PCIe規(guī)格允許二、四、八、十二及十六個(gè)信道,但光學(xué)模塊通常以八或十二個(gè)通道組態(tài)提供,本文選擇八通道組態(tài)的原因是其經(jīng)常使用于高效能PCIe 2.0的設(shè)計(jì)中,預(yù)計(jì)也會(huì)在PCIe Gen3標(biāo)準(zhǔn)受到歡迎。此外,標(biāo)準(zhǔn)化八信道PCIe端點(diǎn)產(chǎn)品也給設(shè)計(jì)團(tuán)隊(duì)帶來(lái)豐富的組件選擇,其中,由于CXP與MiniPOD模塊容易取得并擁有良好的效能特性,因此成為兩個(gè)最具吸引力的選擇。

  MiniPOD模塊機(jī)械設(shè)計(jì)較佳

  本文選擇MiniPOD的原因是其嵌入式平行光學(xué)組態(tài)可直接安裝到印刷電路板上,帶來(lái)更好的電氣與機(jī)械設(shè)計(jì)。MiniPOD光學(xué)模塊的占用面積為18.6毫米(mm)×22毫米,并且可接受十二通道的扁平纜線或圓形纜線。扁平纜線的優(yōu)點(diǎn)包括厚度低及模塊可緊密堆棧;圓型纜線則提供更好的穩(wěn)固度及更高彈性的彎折,圖3為透過(guò)扁平纜線耦合并使用業(yè)界標(biāo)準(zhǔn)MTP連接器MiniPOD光學(xué)模塊。

  

圖3 十二信道嵌入式平行光纖收發(fā)模塊MiniPOD

  和CXP模塊使用的電路板邊緣安裝不同,MiniPOD光學(xué)模塊可簡(jiǎn)單安排在電路板中央,并提供高速驅(qū)動(dòng)器連接,將承載8Gbit/s電氣訊號(hào)的電路板走線長(zhǎng)度減到5吋,進(jìn)而可將因電容表面效應(yīng)造成的耗損與失真控制在最低。邊緣安裝解決方案的光學(xué)或電氣PCIe纜線可能達(dá)到12~20吋,或更長(zhǎng)的走線長(zhǎng)度,且還需特殊的電路板材料、發(fā)射器去強(qiáng)調(diào)、接受器等化及頻率數(shù)據(jù)回復(fù)(CDR)等技術(shù)解決訊號(hào)完整性問(wèn)題。

  本文范例選擇四十八信道PCIe Gen3交換器做為兩個(gè)端點(diǎn)的PCIe控制器,原因是該組件整合用來(lái)支持光學(xué)領(lǐng)域運(yùn)作的功能,此交換器可解決的問(wèn)題,第一為交換器擁有關(guān)閉接收器偵測(cè)的功能,免除光學(xué)纜線提供50Ω阻抗的需求,在此模式,交換器透過(guò)對(duì)輸入數(shù)據(jù)串流譯碼進(jìn)行速度協(xié)商。

  PCIe控制器第二個(gè)解決的問(wèn)題是EIDLE,原因是該組件能被設(shè)定為忽略可能引發(fā)電氣待機(jī)狀態(tài)的數(shù)據(jù)串流變化,在此模式下,PCIe控制器持續(xù)追蹤提供對(duì)連接速度協(xié)商要求的特定數(shù)據(jù)符號(hào),因此光學(xué)聯(lián)機(jī)能進(jìn)行列舉及聯(lián)機(jī)情況、信道和速度信息的通訊,達(dá)到完全運(yùn)作帶寬。

  不過(guò)由于此交換器經(jīng)過(guò)修改的EIDLE功能無(wú)法允許進(jìn)入或跳出動(dòng)態(tài)電源管理(Active State Power Management, ASPM)狀態(tài),因此還是存在一個(gè)小問(wèn)題,但可透過(guò)實(shí)體上解除并重新啟動(dòng)動(dòng)作連接來(lái)初始化聯(lián)機(jī)的維持能力加以解決,然而緩存器管理,如資源重新配置、BAR編程、端點(diǎn)的可能注冊(cè)重新編程及訊息遮蔽等就需另外的處理程序。

  第三個(gè)可由PCIe控制器解決的問(wèn)題是,交換器支持?jǐn)?shù)據(jù)回復(fù)用的異步頻率模式,允許PCIe光學(xué)聯(lián)機(jī)的兩端能夠獨(dú)立運(yùn)作。不過(guò)這個(gè)異步模式將不支持用來(lái)降低印刷電路板上承載PCIe訊號(hào)走線輻射電磁干擾的系統(tǒng)展頻頻率(Spread Spectrum Clocking, SSC)。

  利用收發(fā)器/光纖控制器實(shí)作光纖版PCIe

  本文提出的概念驗(yàn)證展示的電路板(圖4)包含內(nèi)建四十八通道PCIe Gen3交換器適配卡的主控計(jì)算機(jī),以及一個(gè)搭配交換器的光發(fā)射器與接收器模塊子板,在光學(xué)聯(lián)機(jī)的另一端,另一個(gè)包含光收發(fā)器與接收器模塊的交換器接口卡位于電路板上,藉以提供快速周邊,如固態(tài)硬盤(pán)驅(qū)動(dòng)及以太網(wǎng)絡(luò)(Ethernet)HBA卡的輸出與數(shù)據(jù)整合。

  

圖4 搭配MiniPOD模塊的適配卡

  實(shí)體聯(lián)機(jī)的每一端都使用PCIe Gen3交換器芯片進(jìn)行終端,包含頻率/數(shù)據(jù)回復(fù)以及每個(gè)高速端口的發(fā)射/接收等化。由于交換器芯片的收發(fā)器選用異步模式運(yùn)作,因此在光學(xué)模塊中并不須進(jìn)行頻率與數(shù)據(jù)回復(fù),可進(jìn)一步保留PCIe的低延遲優(yōu)勢(shì)。MiniPOD光學(xué)模塊在電路板中央位置的設(shè)計(jì),電路板走線較短,也可讓交換器芯片的Tx與Rx訊號(hào)直接與光學(xué)模塊介接,因此只須在兩者間加入交流耦合。

  實(shí)現(xiàn)30公尺光纖PCIe Gen3纜線

  上述的實(shí)作電路板成功實(shí)現(xiàn)在OM3的低成本多模光纖上,實(shí)現(xiàn)超過(guò)30公尺的PCIe Gen3八通道纜線。這個(gè)光纖纜線支持異步運(yùn)作(無(wú)原生SSC,但提供SSC隔離)、僅L0動(dòng)作狀態(tài)(受控操作系統(tǒng)的聯(lián)機(jī)啟動(dòng)與結(jié)束控制)、PCIe普通連接速度協(xié)商與PCIe標(biāo)準(zhǔn)聯(lián)機(jī)寬度安排功能。

  但礙于先前所討論的技術(shù)問(wèn)題,此一光纖纜線目前并無(wú)法具備PCIe動(dòng)態(tài)電源管理、帶內(nèi)同步重置(僅支持帶外獨(dú)立重置)功能。由圖5眼圖可說(shuō)明接收器驅(qū)動(dòng)30公尺纜線時(shí),擁有良好的訊號(hào)完整性及無(wú)錯(cuò)誤的數(shù)據(jù)回復(fù)。

  

圖5 PCIe Gen3交換器在30公尺光纖數(shù)據(jù)傳輸眼圖

  在本文實(shí)作范例中,MiniPOD光學(xué)模塊可支持PCIe Gen3以每信道8.0Gbit/s的速度運(yùn)作,但實(shí)際上可支持1G?10.3125 Gbit/s的寬廣傳輸速率,因此這些光學(xué)組件可在5.0Gbit/s的PCIe Gen2及2.5Gbit/s的PCIe Gen1運(yùn)作,不須更改組態(tài)也不會(huì)犧牲效能。此一傳輸速率范圍不僅可讓工程師加速實(shí)現(xiàn)PCIe Gen3光纖纜線連接,也可做為未來(lái)特定應(yīng)用產(chǎn)品多重速率光學(xué)聯(lián)機(jī)向后兼容的基礎(chǔ)。

  (本文作者任職于安華高)

新聞來(lái)源:新通訊元件雜志<

相關(guān)文章

    暫無(wú)記錄!