超大規(guī)模數(shù)據(jù)中心要回到ASIC歲月么？

  ICC訊 數(shù)據(jù)中心處理器正在重新架構(gòu)、定制化和多樣化。當(dāng)超大規(guī)模數(shù)據(jù)中心開發(fā)他們自己的芯片時(shí)，以前為他們服務(wù)的芯片公司應(yīng)如何應(yīng)對?定制化是正確的方向嗎?

  由于Amazon、Google和Meta等超大規(guī)模數(shù)據(jù)中心的推動，數(shù)據(jù)中心芯片的多樣化和定制化趨勢日益加劇。

  他們試圖繞過傳統(tǒng)芯片設(shè)計(jì)師的做法為芯片行業(yè)帶來了擔(dān)憂。

  這些擔(dān)憂是有道理的。

  打入超大規(guī)模數(shù)據(jù)中心處理器市場對傳統(tǒng)芯片公司和初創(chuàng)公司提出了挑戰(zhàn)。這部分是因?yàn)槌笠?guī)模數(shù)據(jù)中心要求專為其算法和工作負(fù)載而定制的特定硬件解決方案。擁有專有軟件的超大規(guī)模數(shù)據(jù)中心也具有不公平的競爭優(yōu)勢。

  重新架構(gòu)數(shù)據(jù)中心

  首先，讓我們分析一下當(dāng)前數(shù)據(jù)中心處理器市場的現(xiàn)狀。

  根據(jù)Yole Intelligence科技與市場分析師Adrien Sanchez的說法，如今有兩種主要類型的處理器進(jìn)入數(shù)據(jù)中心?！耙环N是CPU，另一種是加速器?！?

  在CPU類別中，主要競爭對手是Intel和AMD。新玩家如Ampere和Nvidia也開始出現(xiàn)，一些中國玩家也加入了該行列。但關(guān)鍵是，一些超大規(guī)模數(shù)據(jù)中心如AWS和阿里巴巴已經(jīng)開發(fā)了自己的定制CPU。

  另一方面，加速器有幾個子類別。它們包括：

  由Nvidia和AMD主導(dǎo)的GPU/圖形加速器。

  通用圖形處理單元(GPGPU)和AI加速器，同樣由Nvidia和AMD主導(dǎo)。Yole的Sanchez表示，Intel目前也在為這個子類別開發(fā)新產(chǎn)品。這也是許多AI硬件初創(chuàng)公司爭相推出產(chǎn)品的領(lǐng)域。幾乎所有的超大規(guī)模數(shù)據(jù)中心也都有自己的定制處理器，專門用于加速AI訓(xùn)練與推理。

  數(shù)據(jù)處理單元(DPU)/智能網(wǎng)絡(luò)接口卡(NIC)開始用于加速數(shù)據(jù)和網(wǎng)絡(luò)工作負(fù)載。Sanchez表示，這個子類別的主要競爭對手包括Broadcom、Marvell、Nvidia(Mellanox產(chǎn)品線)、AMD(既有Xilinx，又有Pesando處理器)和Intel。一些超大規(guī)模數(shù)據(jù)中心如AWS和阿里巴巴也有自己的產(chǎn)品。

  Tirias Research的首席分析師Steve Leibson解釋說：“數(shù)據(jù)中心架構(gòu)已經(jīng)在發(fā)生變化，特別是在加速器的應(yīng)用上?！?

  例如，根據(jù)Lebson的說法，Microsoft Azure一直將FPGA置于其基礎(chǔ)架構(gòu)的核心，尋求利用其增加的靈活性。他補(bǔ)充說：“AWS多年來一直將FPGA加速作為實(shí)驗(yàn)提供給客戶?！彼€說：“最近，隨著AI特別是ChatGPT的出現(xiàn)，Nvidia的GPU已經(jīng)在加速器競賽中處于核心地位，Nvidia正投入大量資源進(jìn)行數(shù)據(jù)中心架構(gòu)的開發(fā)?！?

  Leibson認(rèn)為“安全性”是推動數(shù)據(jù)中心重新架構(gòu)的另一個因素。Leibson解釋說，Intel和AMD正在推動DPU，Intel稱之為基礎(chǔ)設(shè)施處理單元(IPU)，因?yàn)樗鼈兛梢詫⒒A(chǔ)設(shè)施任務(wù)從服務(wù)器CPU中移除。目標(biāo)是阻止惡意行為者試圖訪問關(guān)鍵數(shù)據(jù)。DPU/IPU和智能NIC位于服務(wù)器領(lǐng)域之外。

  定制化趨勢正在發(fā)生嗎?

  在這種背景下，數(shù)據(jù)中心處理器的多樣化正在迅速展開。像Marvell和Broadcom這樣的公司認(rèn)為，這種變化讓芯片行業(yè)的老業(yè)務(wù)模式定制ASIC重新煥發(fā)生機(jī)。

  他們計(jì)劃推動定制化來幫助超大規(guī)模數(shù)據(jù)中心。他們的戰(zhàn)略首先從超大規(guī)模數(shù)據(jù)中心處理器的邊緣開始，試圖用自己的IP進(jìn)行滲透。

  Marvell最近推出的高速、超高帶寬SerDes采用了TSMC的3nm工藝生產(chǎn)，就是一個例子。

  像I/O模塊、存儲器、SerDes和互連這樣的IP并不是定制化超大規(guī)模數(shù)據(jù)中心芯片中最引人注目的元素。但是，利用像Marvell這樣的公司已經(jīng)可以獲得的IP，使得超大規(guī)模數(shù)據(jù)中心更容易加速其數(shù)據(jù)中心芯片的定制化。

  然而，與Nvidia、AMD和Intel在數(shù)據(jù)中心更廣泛產(chǎn)品組合中取得的更深入進(jìn)展相比，Marvell在數(shù)據(jù)中心的進(jìn)展規(guī)模相形見絀。

  瓶頸點(diǎn)

  Marvell認(rèn)為“定制化正成為客戶業(yè)務(wù)的核心”。

  Marvell的計(jì)算與定制集團(tuán)技術(shù)副總裁Mark Kuemerle觀察到：“關(guān)于這些數(shù)據(jù)中心客戶的有趣事實(shí)是，如果他們的系統(tǒng)中出現(xiàn)輕微的瓶頸點(diǎn)，問題會被放大1000倍甚至更多(因?yàn)樗鼈儾渴鹪诔笠?guī)模中)。”這樣的瓶頸點(diǎn)可能導(dǎo)致NIC卡住?，F(xiàn)成的機(jī)器學(xué)習(xí)設(shè)備可能無法匹配工作負(fù)載或滿足靈活性或可編程性的需求。

  Kuemerle說：“這些超大規(guī)模數(shù)據(jù)中心真的必須將一切精確調(diào)整到他們的工作負(fù)載。那么，他們投資建設(shè)定制芯片絕對是值得的。”

  Kuemerle表示，這些客戶還需要解決方案來覆蓋他們構(gòu)建的所有內(nèi)容，“從基礎(chǔ)NIC到視頻加速，再到大規(guī)模機(jī)器學(xué)習(xí)”。

  回到ASIC了嗎?

  等一下。Marvell的這種方法不是讓芯片行業(yè)回到了ASIC的黑暗時(shí)代嗎?

  在20世紀(jì)90年代，領(lǐng)先的芯片公司渴望設(shè)計(jì)和提供針對特定應(yīng)用的定制ASIC設(shè)備，同時(shí)提供更好的性能。Sony、Toshiba和IBM最初設(shè)計(jì)的用于Sony Playstation 3的Cell Processor就是一個例子。

  但那些ASIC的歲月已經(jīng)過去了。為特定產(chǎn)品設(shè)計(jì)ASIC變得越來越難以合理規(guī)模。坦率地說，人們開始討厭ASIC。那么，情況發(fā)生了什么變化，數(shù)據(jù)中心公司真的需要定制芯片嗎?

  Marvell新成立的計(jì)算與定制集團(tuán)高級副總裁Kevin O'Buckley承認(rèn)，對ASIC的反感確實(shí)出現(xiàn)了。但他堅(jiān)稱，只有當(dāng)系統(tǒng)公司試圖將真正先進(jìn)的工藝節(jié)點(diǎn)應(yīng)用到他們自己的ASIC時(shí)，才產(chǎn)生了這種看法。那對任何人來說都變得過于昂貴。

  但如今，當(dāng)摩爾定律放緩時(shí)，尋求更先進(jìn)的工藝節(jié)點(diǎn)不再是潛在ASIC客戶的唯一選擇。客戶可以選擇2.5D、3D芯片或芯片組，混合匹配不同的IP、硬件和封裝技術(shù)。

  有鑒于此，O'Buckley認(rèn)為，“從收入、SAM(serviceable available market)和TAM(total available market)來看，ASIC市場實(shí)際上從未如此龐大?！?

  當(dāng)然，O'Buckley承認(rèn)，從投資回報(bào)來看，可以承受投資的客戶和應(yīng)用的整合實(shí)際上正在縮小。盡管芯片制造商競標(biāo)的領(lǐng)域數(shù)量減少，項(xiàng)目數(shù)量減少，但他強(qiáng)調(diào)，“這些單個領(lǐng)域的價(jià)值和影響正在爆炸式增長?！?

  對定制芯片的懷疑仍然存在

  Tirias Research的Leibson對主要芯片公司正在忙于定制他們的GPU和CPU以適應(yīng)特定超大規(guī)模數(shù)據(jù)中心客戶的需求持懷疑態(tài)度。

  Leibson表示：“他們可能會這樣做，但我認(rèn)為這些公司更有可能與超大規(guī)模數(shù)據(jù)中心討論需求，并嘗試提供滿足聚合需求的標(biāo)準(zhǔn)設(shè)備?！痹谒磥?，定制芯片是為客戶量身定制的芯片，正如Intel與Google合作開發(fā)Mt. Evans ASIC IPU那樣。

  對于芯片公司來說，這是否具有商業(yè)意義又是另一個問題。畢竟，芯片供應(yīng)商必須尋找規(guī)模大的機(jī)會。

  Yole Intelligence的技術(shù)與市場分析師John Lorenz表示贊同：“在某種程度上，AMD和Intel正在提議更多的硬件定制，例如AMD的MI300系列和Intel的Rialto Bridge系列，客戶可能會尋找不同的CPU、GPU和XPU組合，以根據(jù)他們的需求定制計(jì)算解決方案?！彼a(bǔ)充說，“相比之下，Nvidia解決方案的更多靈活性來自CUDA軟件，硬件方面較少。盡管如此，我們應(yīng)該看到Grace和Hopper的一些組合作為某些硬件選項(xiàng)?！?

  Yole的Lorenz和Tirias Research的Leibson都不確定AMD是否計(jì)劃將其半定制芯片業(yè)務(wù)(目前專用于游戲機(jī)芯片)擴(kuò)展到一些不同領(lǐng)域。

  然而，一年前，在AMD的財(cái)務(wù)日上，Lisa Su闡述了她的雄心?！霸谶^去的10年里，我們一直從事定制芯片業(yè)務(wù)。如果你看看我們在游戲機(jī)市場所做的事情，那就是定制芯片，將我們的芯片帶給我們客戶對市場、系統(tǒng)和軟件應(yīng)用的愿景。我認(rèn)為，定制芯片的趨勢只會繼續(xù)增長?！?

  Lisa Su表示，AMD的一些超大規(guī)模數(shù)據(jù)中心客戶正在尋求AMD的幫助 為自己的芯片進(jìn)行差異化。然而，AMD的定制芯片項(xiàng)目的細(xì)節(jié)尚未公開。

  超大規(guī)模數(shù)據(jù)中心定制芯片的需求將繼續(xù)存在。對于超大規(guī)模數(shù)據(jù)中心來說，定制ASIC是有意義的。然而，如果相關(guān)ASIC只成為一次性解決方案，那么像Marvell這樣嘗試定制策略的芯片公司能否在這樣的不確定性趨勢中尋找的規(guī)模機(jī)會就不得而知了。